Dario und Daniela Amodei: die Geschwister, die dem Pentagon mit Anthropic die Stirn bieten

Das Auffälligste an Dario und Daniela Amodei ist ihre Unauffälligkeit. Anders als die meisten Tech-CEO kann man sie sich gut beim Wocheneinkauf im Supermarkt vorstellen. Er ist ein gemütlicher Typ, sieht mehr nach Fernsehabend als nach Fitnessstudio aus, grinst oft breit. Sie schaut ihren Gesprächspartnern immer in die Augen, legt beim Händeschütteln die zweite Hand noch obendrauf. Vom Auftreten eines Sam Altman, eines Mark Zuckerberg oder eines Jeff Bezos könnten die beiden kaum weiter entfernt sein. Und doch stehen jetzt gerade diese Geschwister als harte Kerle im Mittelpunkt.

Im Streit um ihr Unternehmen Anthropic haben die Amodeis dem Pentagon Paroli geboten. Sie wollten mitentscheiden, wofür der Staat den Chatbot Claude einsetzt, und gaben ihre roten Linien auch unter Druck nicht auf.

In der Folge verlor Anthropic nicht nur seinen Status als wichtigster Lieferant von künstlicher Intelligenz (KI) für die amerikanische Regierung. Das Unternehmen wurde auch quasi zum Staatsfeind erklärt: Es gilt nun als Lieferkettenrisiko. Wer mit der amerikanischen Regierung Geschäfte macht, darf Anthropic nicht nutzen. Dario Amodei hat am Montag gegen diesen Entscheid Klage eingereicht.

Wenige hatten erwartet, dass das Tech-Unternehmen diesen Kampf bis zum bitteren Ende austragen würde. Doch es passt zu den Amodeis. Zu Dario, aber auch zu seiner Schwester Daniela. Denn nicht nur im Auftreten unterscheiden sie sich von anderen KI-Gründern.

Dario politisierte als Physikstudent

Die Amodeis sind im Mission District aufgewachsen, einem von Latinos und der queeren Bewegung geprägten Arbeiterviertel in San Francisco. Ihr Vater Riccardo war laut Medienberichten ein gelernter Lederarbeiter, der aus dem toskanischen Städtchen Massa Marittima in die USA gekommen war. Die Mutter Elena Engel, eine jüdische Amerikanerin aus Chicago, leitete Renovierungsprojekte in Bibliotheken in der Gegend. Sie sollen ein enges Paar mit idealistischen Werten gewesen sein, die sie auch an die Kinder weitergaben.

Dario ist 1983 geboren, Daniela 1987. Im Dotcom-Boom waren sie Teenager. Doch das Silicon Valley, obwohl ganz in der Nähe, interessierte die beiden nicht.

Dario war ein Mathe-Nerd, nahm im Jahr 2000 mit dem amerikanischen Team an der Physikolympiade teil und studierte dann auch Physik. Die Weltpolitik interessierte ihn aber. Mit zwanzig ermahnte er seine Mitstudenten in der Campuszeitung seiner Universität, sich gegen den Irakkrieg einzusetzen, statt ihn passiv hinzunehmen: «Wir, die wir so viel Macht haben, die Zukunft zu beeinflussen, verzichten erstaunlicherweise auf unser Recht dazu», schrieb er. Und weiter, fast schon prophetisch: «Wir sollten uns niemals zu amoralischen Technikern degradieren lassen, die die Maschinen des Krieges so beiläufig bedienen wie unsere Computer.»

Dass er von der Physik zur KI wechselte, liegt auch am Tod seines Vaters. Riccardo starb an einer seltenen Krankheit, bei der die Heilungschancen bereits wenige Jahre später viel besser waren. Für Amodei die Motivation, stärker in Richtung Biologie zu gehen – und sich dann KI zuzuwenden, als Werkzeug, das alle Arten von Forschung beschleunigen konnte. So zumindest erzählt er es in Interviews.

Er begann seine Karriere in einem Forschungslabor der chinesischen Firma Baidu in Stanford und wechselte 2015 zu Googles KI-Forschungslabor Google Brain. In dieser Zeit wurde Dario zu einem noblen Abendessen eingeladen, das in die Tech-Geschichte eingehen sollte. Elon Musk und Sam Altman stellten dort ihren Plan vor: ein KI-Forschungslabor im Dienste der Menschheit. Daraus wurde Open AI.

Amodei war nicht beeindruckt: «Es fühlte sich an, als ginge es mehr um berühmte Tech-Investoren und Unternehmer als um KI-Forscher», zitiert ihn das Magazin «Wired». Doch wenige Monate später wechselte er doch zu Open AI, weil das Unternehmen ein paar sehr bekannte KI-Forscher gewonnen hatte. Zwei Jahre später holte er seine Schwester ins Boot.

Daniela interessiert sich für Literatur, Musik und Menschen

Daniela Amodei hatte Literatur und Flöte studiert, dann in der Entwicklungshilfe und in der Politik gearbeitet – unter anderem als Kampagnenmanagerin für einen demokratischen Kongressabgeordneten. 2013 wechselte sie ins Silicon Valley. Sie war eine frühe Angestellte beim Fintech Stripe, arbeitete dort erst als Recruiterin, später im Risikomanagement.

Wie Literatur, Musik, Politik und Tech zusammenpassen, erklärte sie in einem Interview mit einer Investmentfirma: In einem Orchester Musik zu spielen, lehre, wie man ein Team zusammenstelle, in dem die Rollen klar verteilt seien und das mehr sei als seine Teile. Das Literaturstudium habe sie empathischer gemacht und dazu befähigt, Probleme aus verschiedenen Blickwinkeln zu betrachten.

Bei Open AI managte Daniela auch das Team, das GPT-2 entwickelte, einen Vorgänger des Chatbots Chat-GPT. Dario war als Forscher massgeblich an der Entwicklung der Technologie beteiligt, die Jahre später die KI-Revolution einläutete. Die Geschwister erkannten das Potenzial der Technologie – und machten sich Sorgen über die Auswirkungen, die sie in Zukunft haben könnte.

Im Herbst 2023 erfuhr die Öffentlichkeit, dass der CEO Sam Altman bei Open AI umstritten war, als er seinen Job verlor und dann wieder installiert wurde. Der Verwaltungsrat hatte ihm nicht mehr vertraut. Dario und Daniela Amodei hatten offenbar schon Jahre vorher ihre Schlüsse über die Persönlichkeit ihres Chefs gezogen. Mit fünf weiteren Mitstreitern verliessen sie Ende 2020 Open AI, um ein Konkurrenzunternehmen nach ihren Vorstellungen zu gründen: Anthropic.

In einem Marketing-Video der Firma sitzen die sieben Gründer um einen Tisch und beschreiben ihre Firmenkultur. Sie betonen, wie hoch das Vertrauen ineinander bei Anthropic sei. Das sei Daniela anzurechnen, sie halte den Standard hoch, sagt einer: «Sie lässt keine Clowns rein.» Daniela Amodei ist heute Anthropics Präsidentin und kümmert sich vor allem um die menschliche Seite des Geschäfts. Dario ist CEO.

Das Gespräch ist inszeniert, und doch wirkt einiges darin glaubwürdig. Etwa die Chemie zwischen den Geschwistern und den Mitgründern. Und dass sie alle nicht einfach «ein Unternehmen gründen» wollten, sondern eher aus Pflichtgefühl in die Rolle der Gründer gerutscht sind, weil sie überzeugt sind, dass es ein besseres KI-Unternehmen braucht. Alle sieben Mitgründer sind durch ihre Firmenanteile inzwischen Milliardäre. Sie haben versprochen, 80 Prozent ihres Vermögens für wohltätige Zwecke zu spenden.

Die Amodeis stehen den effektiven Altruisten nahe

Dario und Daniela Amodei stehen den effektiven Altruisten nahe, einer ethischen Strömung, deren Anhänger versuchen, auf möglichst rationale Art und Weise das Gute in der Welt zu mehren. Danielas Ehemann Holden Karnofsky hat mehrere Philanthropie-Organisationen mit dieser Ausrichtung gegründet. Heute arbeitet er bei Anthropic.

Sam Bankman-Fried, Gründer der Krypto-Börse FTX und ehemals Aushängeschild der effektiven Altruisten, investierte 2022 eine halbe Milliarde Dollar in Anthropic. Inzwischen ist FTX kollabiert, und Bankman-Fried wurde wegen Betrugs eingesperrt. Wohl auch deshalb reden die Amodeis die Verbindung zur Bewegung klein.

Doch die Firmenphilosophie von Anthropic passt gut zum effektiven Altruismus: Man will Gutes tun und dabei moderne Technologie nutzen, und man sorgt sich besonders wegen der Gefahren der Zukunft, insbesondere einer übermächtigen KI, die ausser Kontrolle geraten oder für Böses genutzt werden könnte. Erst im Januar hat Dario Amodei einen ausführlichen Blogbeitrag zu dem Thema veröffentlicht. Womit wir wieder bei der Auseinandersetzung mit dem Pentagon wären.

Diese dreht sich im Kern darum, wer die Grenzen beim Einsatz von künstlicher Intelligenz zieht. Anthropic versucht, die möglichen Schäden seiner Schöpfung einzudämmen, indem es dem Chatbot Claude eine Art «Charakter» vorgibt. Der soll sicherstellen, dass Claude den Dienst verweigert, wenn er um problematische Dinge gebeten wird. Das Pentagon will hingegen selbst entscheiden, wofür es KI einsetzt.

Streitpunkte sollen vor allem autonome Waffen und die Massenüberwachung von Amerikanern gewesen sein. Für autonome Waffen sei die Technologie nicht reif, befindet Anthropic – und die Massenüberwachung von Landsleuten verstosse gegen die eigenen Prinzipien.

Anthropic ist schon ethische Kompromisse eingegangen

Doch trotz dem jetzt zur Schau getragenen Idealismus ist Anthropic schon Kompromisse eingegangen. Es arbeitet mit Palantir zusammen, also mit dem prominentesten Dienstleister für die Nutzung von KI im Krieg und zur Überwachung.

Ein im Magazin «Wired» geleaktes internes Memo zeigte im Sommer zudem, dass Dario Amodei darüber nachdachte, Golfstaaten-Fonds als Investoren zu gewinnen, nachdem er vorher genau das verurteilt hatte. Widersprüchlich? Amodei sieht das nicht so. Die «Medien / Twitter / die Aussenwelt» seien immer auf der Suche nach Heuchelei, «zugleich auch sehr dumm», schrieb er. «Es ist völlig konsequent, sich für Regeln einzusetzen, die besagen: ‹Niemand darf X tun›, aber wenn diese Regeln scheitern und alle anderen X tun, selbst widerwillig X zu tun.»

Der Idealismus der Amodeis ist also flexibel. Dass sie gegenüber der Trump-Regierung so standhaft geblieben sind, liegt vielleicht weniger an den eigenen Einstellungen als an dem Ruf, den sie zu verlieren haben, vor allem bei ihren Angestellten.

Dass sie als «die Guten» im KI-Rennen gelten, hilft Anthropic, im harten Kampf um Talente gegen die Konkurrenz von Google, Open AI und Meta zu bestehen. Einen CEO und eine Präsidentin zu haben, die ganz nett und normal wirken, das ist im Silicon Valley eben ein Alleinstellungsmerkmal.