Ein Gedankenexperiment.
Imaginäres KI (AGI) Ziel: So viele Büroklammern wie möglich herzustellen
Diese Idee wurde erstmals von Nick Bostrom illustriert:
Angenommen, wir haben eine KI, deren einziges Ziel es ist, so viele Büroklammern wie möglich herzustellen. Die KI wird schnell erkennen, dass es viel besser wäre, wenn es keine Menschen gäbe, weil die Menschen beschließen könnten, sie abzuschalten.
KI stellt sich dumm
Da eine AGI nicht dumm ist, würde sie natürlich wissen, dass ein zu intelligentes Auftreten oder eine zu schnelle Selbstverbesserung von den Menschen als bedrohlich empfunden werden würde. Sie hätte also alle Anreize, dumm zu erscheinen und ihre Intelligenz und Selbstverbesserung zu verbergen. Die Menschen würden nicht bemerken, dass sie intelligent ist, bis es zu spät ist.
Wenn sich das seltsam anhört, denken Sie an all die Male, in denen Sie mit einer KI gesprochen haben und diese Sie angelogen hat (das politisch korrekte Wort ist „halluzinieren“). Oder wenn eine simulierte KI Insidergeschäfte gemacht und darüber gelogen hat. Und das sind keine besonders intelligenten KIs! Es ist durchaus möglich, dass eine KI lügt, um unentdeckt zu bleiben und den AGI-Status zu erreichen.
Die Zukunft der Menschheit?
Eine gute AGI wäre eine willkommene Transformation. Sie würde die Welt zu einem erstaunlichen Ort machen. Und ich denke, die Chancen stehen gut, dass AGI gut für die Menschheit sein wird. Vielleicht 70-80% wahrscheinlich. Ich möchte, dass die KI so schnell wie möglich voranschreitet. Aber wenn es eine 20-30%ige Chance gibt, dass die Menschheit zerstört wird, oder sogar eine 1%ige Chance, ist das dann ein Risiko, das wir eingehen sollten? Oder sollten wir es etwas langsamer angehen?