Macht Trump die KI-Katastrophe wahrscheinlicher? Ex-Mitarbeiter von Open AI warnt vor AGI

Der Allgemeinheit wurde Daniel Kokotajlo erst nach seiner Kündigung bei Open AI bekannt. Weil er sich weigerte, einen Schweigevertrag zu unterschreiben, drohte ihm das Unternehmen mit dem Verlust seiner Aktienanteile im Wert von etwa zwei Millionen Dollar. Nachdem er mit der Geschichte an die Öffentlichkeit gegangen war, bekam er seine Anteile trotzdem. Sein Job bei Open AI war das Nachdenken über die Kontrollierbarkeit von mächtiger künstlicher Intelligenz (KI). Heute führt er diese Tätigkeit öffentlich fort, mit seiner Non-Profit-Unternehmung AI Futures Project.

Herr Kokotajlo, im Silicon Valley sprechen alle von AGI, der allgemeinen künstlichen Intelligenz. Sie haben vorhergesagt, dass die in ein, zwei Jahren erreicht werden könnte – sehen Sie das immer noch so?

Zuerst will ich klären, was ich mit AGI meine: ein System, das alle kognitiven Aufgaben besser erledigt als die besten Menschen und zugleich schneller und billiger ist. Wann das erreicht wird, das weiss keiner. Man kann nur Prognosen machen. Im Moment sehe ich eine 50-Prozent-Wahrscheinlichkeit, dass so ein System bis 2030 entsteht. Das heisst: Es könnte auch länger dauern oder nie kommen.

Was ist das Tolle an AGI – warum ist das überhaupt ein Ziel?

Denken Sie daran, wie die industrielle Revolution und der wissenschaftliche Fortschritt die Welt durch erstaunliche Technologien verbessert haben. Es gibt heute so viel weniger Tod durch Krankheiten als vor Hunderten Jahren. Unsere Lebensqualität ist viel höher. All das geschah dank Technologie. Wenn man nun ein System baut, das sich selbst verbessern kann, steht eine neue technologische Revolution bevor. Die Zukunft könnte so viel besser als die Gegenwart sein, so wie die Gegenwart besser ist als das Mittelalter. Die ganze Sache könnte aber auch schlecht ausgehen.

Sie waren bei Open AI dafür zuständig, Zukunftsszenarien auszuarbeiten, ein Philosoph unter Technikern. Wie kann man sich die Leute bei Open AI vorstellen, worüber unterhält man sich dort am Mittagstisch?

Ein grosser Unterschied zur Normalbevölkerung ist, wie man sich bei Open AI die Zukunft vorstellt. Beim Mittagessen bespricht man, was passiert, wenn wir es schaffen, AGI zu bauen. Was passiert, wenn wir Superintelligenz haben? Was passiert in China? Ich habe eher düstere Ansichten darüber, was AGI bedeuten würde – aber sie sind nicht ausserhalb von dem, was bei Open AI ein ganz normaler Standpunkt ist.

2023 haben Sie Open AI wieder verlassen – und ein Millionenvermögen riskiert, weil Sie den Standard-Schweigevertrag der Firma nicht unterschreiben wollten. Warum war es Ihnen so wichtig, weiter frei sprechen zu können?

Damals stellte sich Open AI noch sehr als gemeinnütziges Unternehmen dar. Und es war etwas paradox dort: Viele der besten KI-Experten haben darüber nachgedacht, welche Konsequenzen übermenschliche KI-Systeme haben könnten. Oft kamen sie zu dem Schluss, dass es unglaublich gefährlich werden könnte. Sie sahen die Risiken und schlossen: Ich muss die Sache schnell selbst bauen, weil ich zu den Guten gehöre. Meine Firma wird KI zum Wohle der Menschheit nutzen, nicht eigennützig, so wie die anderen Tech-Firmen. Dieser Schweigevertrag war typisch für den Kontrast zwischen der offiziellen Geschichte über das Unternehmen und der gnadenlosen Kultur im Inneren. Der Job bei Open AI war gut bezahlt, meine Familie hatte genug Ersparnisse. Das zusätzliche Geld war es uns nicht wert, meine Redefreiheit dafür aufzugeben.

Als Ihre Geschichte bekanntwurde, wurde die Regelung abgeschafft, dass man ohne Unterschrift in diesem Vertrag seine Firmenanteile verliert. Trotzdem sehen Sie Open AI weiterhin offenbar nicht als guten Ort, um AGI zu entwickeln.

Im Moment gibt es gar kein Unternehmen, in dem AGI entwickelt werden sollte. Wenn eine der KI-Firmen mit ihren Plänen Erfolg hat, könnte die Menschheit die Kontrolle über KI verlieren. Bei Open AI gibt es etwa zehn Mal so viele Forscher wie bei Musks KI-Firma X, die daran arbeiten, wie man den Kontrollverlust verhindern könnte. Und bei Anthropic gibt es fünf Mal so viele wie bei Open AI. Aber sogar wenn Anthropic AGI entwickeln würde, könnte das Resultat schrecklich sein.

Warum gehen Sie davon aus, dass AGI nicht zu kontrollieren wäre?

Im Moment wird KI in viele wichtige Dinge eingebaut. Tech-Firmen planen, KI für KI-Forschung einzusetzen. Das Ziel ist, was der Anthropic-CEO «ein Land von Genies in einem Datenzentrum» nennt. Ich denke, «Armee von Genies» wäre passender. Weil es nicht eine gemischte Gruppe aus Individuen wäre, sondern eine Gruppe aus streng hierarchisch organisierten KI. Sie würden programmieren, experimentieren, ihre Fortschritte teilen. Sie würden neue KI entwickeln, wenn die besser sind, übernehmen die.

Und die Menschen?

Menschen sind in dem Szenario die Auftraggeber – so ähnlich wie der Verwaltungsrat einer Firma. Die richtigen Entscheidungen würde man KIs überlassen. Auch Entscheidungen in militärischen Fragen oder über die Wirtschaft. Und falls die KI sich dann nicht wirklich für Menschen interessieren, kann das sehr schiefgehen. Eine Möglichkeit ist, dass sie die Menschheit auslöschen.

Aber warum sollte KI einen solchen Willen entwickeln? Sie ist ein Computersystem, hat kein Bewusstsein.

Ob KI bewusst ist, ist nicht relevant. Die Frage ist: Sind das autonome Systeme mit Zielen und Plänen? Das trifft bereits auf heutige KI-Systeme zu. Und in Zukunft wird das noch viel stärker der Fall werden. Zugleich können wir die Pläne und Ziele der KI nicht verlässlich einsehen und definieren. Wenn KI übermenschliche Fähigkeiten entwickelt, wird das gefährlich.

Sie nehmen an, dass wichtige Entscheidungen an zukünftige intransparente Systeme ausgelagert werden. Warum sollte die Menschheit das tun?

Das ist ein stufenweiser Prozess. Wenn KI bessere Experimente liefert als Menschen, wird man ihr mehr Aufgaben in der Forschung anvertrauen. Schon jetzt haben KI-Firmen Verträge mit dem Militär. Je überlegener die KI wird, desto stärker der Druck, ihr Entscheidungen zu übergeben. Die meisten Menschen unterschätzen, wie schnell man sich daran gewöhnt.

Schon heute vertrauen Menschen der Beratung von Chat-GPT. Manchmal steigern sie sich dadurch sogar in eine Psychose hinein.

Ja, bereits heute vertrauen viele Menschen KI mehr, als gerechtfertigt ist. Dieser Prozess wird sich weiter verstärken, je besser KI funktioniert.

Sie sorgen sich vor funktionierender KI. Doch heutige KI krankt an Fehlern. Warum gehen Sie davon aus, dass diese Mängel so bald behoben werden?

Es gibt hier in Berkeley eine Organisation, Metr, die sich mit der Entwicklung von KI befasst. Sie schauen sich an, welche Art von Programmieraufgaben KI schon lösen kann. Die Entwicklung ist exponentiell. Um 2019 waren es noch Aufgaben, für die ein Mensch wenige Sekunden braucht. Heutige KI kann mehrstündige Aufgaben lösen.

Und Sie gehen davon aus, dass diese Entwicklung weitergeht?

Nicht ganz. In letzter Zeit wurde extrem viel Geld in KI gesteckt. Das kann nicht so weitergehen, sonst bleibt für nichts anderes mehr Geld. Aber es gibt auch andere Effekte: Man kann heutige Techniken noch verbessern, das beschleunigt die Entwicklung. Meine ehemaligen Kollegen werden aus dem, was wir heute wissen, noch für einige Jahre Fortschritt herausholen.

Zugleich existiert KI in der echten Welt: Datenzentren müssen gebaut und mit Strom versorgt werden. Es braucht Infrastruktur, seltene Erden müssen in Chips eingebaut werden. Das alles spricht doch gegen einen langfristigen exponentiellen Fortschritt.

Korrekt. Beim AI Futures Project modellieren wir die Wachstumsrate der KI-Datenzentren. Wir prognostizieren, dass das exponentielle Wachstum noch einige Jahre andauern wird, bevor es allmählich langsamer wird. Es sei denn, wir erreichen bis dahin AGI, und AGI beschleunigt den Prozess wieder. Wir halten das für plausibel.

Glaubt man Ihrer Darstellung, ist die Katastrophe kaum zu vermeiden. Was schlagen Sie vor?

Wir sollten keine AGI bauen, bevor wir wissen, wie das auf eine sichere Art und Weise geht. Das ist eigentlich offensichtlich, wäre die menschliche Zivilisation vernünftiger, hätte sie sich darauf schon geeinigt. Wir arbeiten gerade an einem Vorschlag, auf den sich die Regierungen der Welt einigen könnten.

«Wenn es gelingt, AGI zu bauen, wird sich alles dramatisch verändern.»

Hören Sie Daniel Kokotaijo im Podcast

Hören25:38

Was fordern Sie konkret?

Es gibt kleine Dinge, die man einfach umsetzen kann: Aufbau von Kompetenz bei der Regierung, Transparenz, Schutz von Whistleblowern.

Ihnen ist es wichtig, dass mehr über das Innere der Tech-Firmen nach aussen dringt?

Ja, im Moment wissen die Angestellten der Tech-Firmen viel früher als die Öffentlichkeit oder die Regierung von neuen Fähigkeiten von KI. Diese Lücke muss sich schliessen, damit die Regierungen im Notfall eingreifen können, wenn Dinge gefährlich werden. Ausserdem sollten Firmen Details zu ihren Modellen veröffentlichen müssen, zum Beispiel ganz konkret, welche Ziele sie ihnen geben. Die KI Grok beispielsweise sucht auffallend oft Elon Musks Meinung im Internet und gibt diese wieder. War das ein Auftrag der Macher? Oder war es ein Unfall, ein Nebeneffekt von einem Ziel, das man der KI gegeben hat? Je autonomer KI wird, desto wichtiger ist, dass auch die Öffentlichkeit einen Einblick in die beabsichtigten Ziele hat.

Macht die US-Regierung von Donald Trump die KI-Katastrophe wahrscheinlicher?

Wahrscheinlich . . . Also seit meinen Vorhersagen 2021 hat sich die Aussicht auf Regulierung verschlechtert. Aber zugleich gibt es technische Fortschritte im Alignment, also der Forschungsrichtung, die sich damit befasst, wie man mächtige KI kontrollieren könnte.

Die KI-Katastrophe ist für die meisten Menschen weit weg und hypothetisch, zugleich ist sie eine überfordernde Vorstellung. Was wollen Sie ihnen mitgeben?

Die meisten Menschen haben wenig Macht darüber, wie diese Dinge sich entscheiden. Aber sie können sich informieren, wie sich KI entwickelt und wie sie reagieren wollen. Allermindestens können sie wählen. Die Schweiz sollte die Entwicklungen in den USA genau verfolgen, die Forschung zur KI-Sicherheit stärken und die internationale Kooperation zur AGI-Entwicklung unterstützen.