Missy Cummings erforscht den Einsatz von künstlicher Intelligenz auf dem Schlachtfeld. Sie warnt davor, unausgereifte KI-Systeme für die Auswahl von Angriffszielen zu nutzen.
Missy Cummings ist besorgt über KI im Militär: «Wir befinden uns in einer sehr gefährlichen Phase, in der Fehler unter den Teppich gekehrt werden könnten.»
PD
Mary «Missy» Cummings war eine der ersten Kampfjet-Pilotinnen der USA. Nach dem Abschluss eines Mathematikstudiums schloss sie sich 1988 der Navy an. Dort blieb sie elf Jahre lang und erreichte den Rang eines Lieutenants. Dann folgten ein Masterstudium in Raumfahrttechnik und ein Doktorat in Systems Engineering. Heute erforscht sie als Professorin für Robotik an der George Mason University den Einsatz von künstlicher Intelligenz im Militär.
Cummings hat ein Jahr lang für die amerikanische Regierung die Risiken von selbstfahrenden Autos untersucht. Daraus hat sie Lehren für den Einsatz von KI in autonomen Waffensystemen abgeleitet. Anfang Februar veröffentlichte sie im Auftrag der Organisation Geneva Center for Security Policy eine Studie zum Thema.
Frau Cummings, gemäss Berichten des «Wall Street Journal» setzt das amerikanische Militär bei den gegenwärtigen Luftangriffen auf Iran die künstliche Intelligenz der Firma Anthropic ein. Mit der KI werden demnach Angriffsziele ausgewählt, Kriegsszenarien simuliert und Informationen ausgewertet. Was halten Sie davon?
Gegen die Simulation von Gefechten habe ich nichts einzuwenden, das ist der beste Einsatzbereich für KI im Militär. Hingegen ist der Einsatz generativer KI für die Auswertung von nachrichtendienstlichen Informationen oder die Auswahl von Angriffszielen die schlechtestmögliche Idee. Dass das Kriegsministerium auf diese Idee gekommen ist, zeigt, wie wenig es diese Technologie versteht.
Laut Iran wurde bei den Angriffen eine Mädchenschule getroffen. Könnte eine KI hier das falsche Angriffsziel ausgewählt haben?
Es ist möglich, aber wir können nur spekulieren. Und das Problem ist, dass wir es vielleicht nie wissen werden. Ich arbeite seit einiger Zeit an einer Methodologie zur Untersuchung von Unfällen, an denen KI beteiligt gewesen ist. Die Methode kann auch auf Fehler bei Kriegseinsätzen angewandt werden. Aber das setzt voraus, dass das Kriegsministerium offenlegt, wo genau es KI eingesetzt hat.
Warum ist das problematisch?
Wenn ein Land verschweigt, dass KI möglicherweise an einem tödlichen Angriff beteiligt war, wird es niemals umfassende Untersuchungen geben. Wir werden nie herausfinden, wo die entscheidenden Fehler lagen, noch werden wir diese Probleme beheben können. Wir befinden uns in einer sehr gefährlichen Phase, in der solche Vorfälle wahrscheinlich unter den Teppich gekehrt werden und es wahrscheinlich keine Rechenschaftspflicht geben wird. Und so werden wir den Einsatz der Technologie auch nicht verbessern können.
Was könnte im schlimmsten Fall passieren?
Der Kriegsminister Hegseth will offenbar generative KI auch in autonomen Waffensystemen einsetzen. Aber diese Technologie ist äusserst unzuverlässig. Ich mache mir Sorgen, dass Zivilisten oder die eigenen Truppen aus Versehen getötet werden.
Aber solche Fehler passieren auch ohne KI. Könnte die Technologie nicht helfen, Ziele präziser zu treffen und dadurch Kollateralschäden zu minimieren?
Vielleicht, aber ich bin skeptisch. Denn diese von KI gesteuerten autonomen Waffensysteme müssten zuerst ausführlich getestet werden. Ich meine nicht nur in Computersimulationen, sondern in Feldtests. Das ist aufwendig und teuer. Man müsste Testanlagen bauen und die Tests durchführen. Und diese Administration ist nicht bereit, dieses Geld zu investieren.
Haben Sie also Verständnis für die Haltung von Dario Amodei, dem CEO von Anthropic? Er wehrte sich gegen den Einsatz von KI in autonomen Waffen und riskierte dafür die Geschäftsbeziehung mit dem Pentagon.
Ich bin beeindruckt, dass er standfest geblieben ist. Seine Position ist auch absolut vernünftig. Diese KI-Systeme sind noch lange nicht zuverlässig genug, um in sicherheitskritischen Situationen eingesetzt zu werden. Andererseits hat Anthropic aber auch zum Hype um generative KI beigetragen. Das hat dazu geführt, dass die Regierung jetzt auch überschätzt, was die Technologie wirklich kann.
Sollte das die Führung im Kriegsministerium nicht besser wissen?
Im Kriegsministerium herrscht offenbar absolute Ignoranz darüber, wie generative KI funktioniert. Und Hegseth will sich auch nicht von Sicherheitsbedenken aufhalten lassen. Ganz im Gegenteil: Den Leuten wird KI aufgezwungen, aber an der nötigen Ausbildung zu den Stärken und Schwächen der Technologie wird gespart. Ich bin sicher, in China und Russland ist man erfreut darüber.
Inwiefern?
Wir müssen uns gefasst machen auf eine Welle von Cyberangriffen. Diese Sprachmodelle lassen sich leicht manipulieren. Und unsere Feinde wissen, wie sie uns mit «Datenvergiftung» angreifen können. Sie müssen nur genügend fehlerhaften Code oder versteckte Hintertüren auf den Plattformen veröffentlichen, wo die KI-Firmen ihre Trainingsdaten hernehmen. Wenn die KI dann Software fürs Militär schreibt, fliessen diese Fehler und Sicherheitslücken in die Programme ein. Solche Fehler müssten dann die menschlichen Programmierer auffangen und beheben. Derweil pocht der Kriegsminister Hegseth auf die überhastete Einführung von KI in militärischen Systemen. Damit rollt er unseren Feinden den perfekten roten Teppich aus.
Sehen Sie also gar keinen Nutzen von KI für das Militär? Manche sagen, dass KI-Tools zur Analyse von Echtzeitdaten aus verschiedenen Quellen zu schnelleren Entscheidungen führen können.
Das behaupten die Firmen, die diese Datenanalyse-Tools anbieten, aber wir haben keine Evidenz dafür. Und wir riskieren, die Zuverlässigkeit und die Präzision zugunsten der Geschwindigkeit zu opfern.
Können Sie ein konkretes Beispiel geben, wo der Einsatz von KI in autonomen Waffen fatale Folgen haben kann?
Als Kampfpilotin musste ich oft bei Übungen eigenen stationierten Truppen zu Hilfe eilen, die unter Beschuss waren. Das ist eine Situation, in der man sehr nah am Geschehen ist und deshalb verwundbar. Man muss schnell hinfliegen, eine Bombe abwerfen und wieder wegfliegen. Weil aber die eigenen und die feindlichen Truppen nah beieinander sind, muss man das Ziel sehr präzise treffen. Bei den Übungen passieren da sehr häufig Fehler.
Und warum wäre das mit einer autonom fliegenden Drohne gefährlicher?
Wir wissen aus den Erfahrungen mit selbstfahrenden Autos, dass die KI-Bilderkennung sehr fehleranfällig ist. Da reicht es, wenn ein Verkehrsschild übermalt wird, um die KI durcheinanderzubringen. Teslas selbstfahrende Autos sind etwa für das sogenannte Phantom-Bremsen berüchtigt – das Phänomen, dass die Autos abrupt bremsen, wenn sie Schatten vor sich sehen. Sie verwechseln die Schatten mit einem Gegenstand oder einer Person, und wenn sie so plötzlich bremsen, kann das Auto dahinter oft nicht so schnell reagieren. Komplett autonome Waffen, ohne einen Menschen, der eingreifen kann, wären auch für diese Fehler anfällig.
Autonome Drohnen haben sich im Ukraine-Krieg jedoch bewährt. Viele Experten sehen darin die Zukunft der Kriegsführung. Wäre es nicht fahrlässig, bei dieser Technologie zurückzubleiben?
Ja, aber die Frage ist, ob noch mehr Investitionen in KI die richtige Massnahme sind. Wenn Sie massenhaft Drohnenschwärme im Krieg einsetzen wollen, brauchen Sie vor allem die Fertigungskapazitäten dafür. Da liegt im Moment der Flaschenhals, nicht bei der Steuerung der Drohnen mit KI. Und ich sehe nicht, dass das amerikanische Militär genug in den Ausbau der Fertigung investiert. Das Marinekorps kann jetzt Drohnen aus dem 3-D-Drucker herstellen. Aber die Mengen sind noch viel zu klein.