Der diplomatische Zwischenfall

Eva war auf der Insel Moineau geblieben. Nach der Geschichte mit der Drohne hatte keiner von uns wirklich Lust gehabt, dass sie sofort wieder abreiste.

Am nächsten Morgen frühstückten wir in der Küche. Ich hatte Brot getoastet und Honig, Butter und die letzten Äpfel aus Jeans Korb herausgeholt. Der Duft von Kaffee schwebte noch im Raum, während die schrägen Sonnenstrahlen der Morgensonne die Küche in Streifen aus Schatten und Licht teilten. Gegenüber von mir pickte Eva zerstreut an einem Toast, ihre Augen wanderten immer wieder zu ihrem Telefon, das neben ihrer Tasse lag.

Lia schlief friedlich auf einem Stuhl, zusammengerollt um ihre bandagierte Pfote.

Ich starrte auf die Anzeige meiner Uhr.

— 42…

Eva warf einen Blick auf mein Handgelenk.

— Dein Schlafscore?

— Ja. Ich war über 70 gestiegen.

— Nach dieser Nacht erscheint mir 42 fast großzügig.

— So gesehen…

Ihr Blick kehrte zu ihrem Telefon zurück.

— Erwartest du eine Nachricht?

— Nein.

— Du hast eine seltsame Art, keine zu erwarten.

— Ich habe das Team informiert. Claire und Nicolas versuchen insbesondere, die Herkunft der Drohne zurückzuverfolgen. Bisher nichts.

— Und GØD, Neuigkeiten?

— Auch nichts.

Ich schaute zur Hecke der Morel.

— Glaubst du, er hat uns schon lange beobachtet?

Eva rührte in ihrem Kaffee.

— Ich glaube vor allem, dass das genau die Frage ist, die man möchte, dass du dir stellst.

Ihr Telefon vibrierte.

— Entschuldige, ich muss diesen Anruf annehmen.

Sie steckte einen Ohrhörer in ihr Ohr und nahm sofort ab, ohne den Bildschirm aus den Augen zu lassen. Ich hörte ihren Gesprächspartner nicht, nur ihre Antworten.

— Wann?

Eine Pause.

— Nein, das ist nicht möglich.

Sie richtete sich auf ihrem Stuhl auf.

— Seid ihr sicher, dass es wirklich von der diplomatischen Schnittstelle kommt?

Während sie zuhörte, verschloss sich ihr Gesichtsausdruck.

— Und Cobot?

Sie hörte noch ein paar Sekunden zu.

— Nein…

Sie stand so abrupt auf, dass ihr Stuhl über den Boden kratzte.

— Warum hat er das getan?

— Wer?

— Wie konnte der Alarm ausgelöst werden?

Ihre Hände zitterten. Ihr Atem beschleunigte sich.

Sie legte auf.

— Eva? Alles in Ordnung?

— Ich darf nicht darüber sprechen. Es ist vertraulich.

— Hat es mit GØD zu tun?

— Nein.

— Dann hat es mit Cobot zu tun?

— Ja.

Ich hatte sie noch nie in einem solchen Zustand gesehen.

— Egal, was das Problem ist, es gibt sicher eine Lösung.

— In der Welt der Glücksbärchis vielleicht?

Sie fing sich sofort wieder.

— Entschuldigung. Es tut mir leid.

Ihre Stimme brach. Eine Träne lief über ihre Wange.

— Erinnerst du dich, was ich dir gesagt hatte, als wir das erste Mal zusammen zu Abend gegessen haben? Dass ich das Gefühl hatte, mein Recht, mich zu beschweren, erschöpft zu haben, indem ich erfolgreich war?

— Ja.

— Ich glaube, es ist eigentlich schlimmer. Ich habe auch das Recht verloren, zu scheitern.

— Vielleicht ist das das Problem.

— Was?

— Du erlaubst dir, erfolgreich zu sein, aber nicht zu scheitern. Du bewertest deinen Wert anhand dessen, was du erreichst. Das hat sogar einen Namen in der Psychologie: bedingte Selbstachtung, das Selbstwertgefühl, das von der Leistung abhängt¹. Und es ist ein wichtiger Faktor für Burnout.

— Danke, Doktor. Also arbeite ich zu viel?

— Nicht nur. Du nimmst deine Misserfolge zu persönlich.

— Das ist doch normal, oder? Ich werde sie nicht jemand anderem in die Schuhe schieben.

— Ich spreche nicht von Verantwortung. Ich spreche davon, was sie dich über dich selbst denken lassen.

Sie antwortete nicht.

— Der Turing-Preis, Cobot, der Élysée… Du bist unglaublich erfolgreich, aber es beruhigt dich nie sehr lange. Du musst dir immer wieder etwas Neues beweisen.

Eva senkte den Blick auf ihre Tasse.

Ihr Telefon vibrierte ein zweites Mal.

— Rote Alarmstufe, sagte sie.

— Was ist das?

— Die höchste Stufe der Schnittstelle, die den Staatschefs vorbehalten ist.

Sie wischte ihre Wangen ab, öffnete ihren Computer und gab mehrere Identifikationen ein.

In wenigen Sekunden hatte die brillante Forscherin die Kontrolle zurückgewonnen.

Eine Transkription von Gesprächen erschien, sekundengenau protokolliert.

Eva scrollte durch die Protokolle, dann erstarrte sie.

— Da ist es.

— Was ist passiert?

— Ein ausländischer Staatschef hat Cobot ein Dokument zur Analyse vor einer Verhandlung geschickt. Es enthielt versteckte Anweisungen.

— Welche Art?

— Nichts Gefährliches auf den ersten Blick. Einzelne Anweisungen schienen legitim. Eine führte dazu, dass er ein klassifiziertes diplomatisches Memo konsultierte; eine andere, später, dazu, dass er einige Elemente daraus in seine Antwort aufnahm.

— Welches Memo?

— Das, das die Zugeständnisse detaillierte, die Frankreich bei der Verhandlung zu akzeptieren bereit war.

Ich hielt inne.

— Warte… Er hat sie an den Staatschef geschickt?

— Ja.

— Aber war er nicht gegen solche Fallen geschützt?

— Doch. Er blockiert täglich Tausende davon. Aber hier folgten etwa fünfzehn Anweisungen aufeinander, ohne dass eine wie ein Angriff aussah. Ihre Kombination hat ihn in die Falle gelockt.

— Und warum kann Cobot ein klassifiziertes Memo einsehen?

Eva sah mich mit gerunzelter Stirn an.

— Weil er Präsident der Republik ist, Franck.

Ich fühlte mich dumm.

— Natürlich. Um zu regieren, muss er unsere wahren Positionen kennen… sagte ich, um mich zu fangen.

— Alles, was unsere Dienste wissen, was unsere Verbündeten uns privat sagen…

— Also können wir ihn nicht schützen, indem wir ihm den Zugang zu Geheimnissen verwehren.

— In der Cybersicherheit nennt man das das Prinzip des geringsten Privilegs²: Man gibt einem System nur die Zugänge, die für seine Mission unbedingt notwendig sind.

— Nur dass die Mission von Cobot darin besteht, Frankreich zu regieren.

— Da liegt das Problem. Sein „geringstes Privileg“ bleibt immens. Je weniger er weiß, desto weniger kann er regieren. Je mehr er weiß, desto gefährlicher wird eine Schwachstelle.

Sie zeigte mir ein anderes Fenster.

— Deshalb bleiben die Staaten vorsichtig. Fast alle OECD-Länder nutzen KI irgendwo in ihrer Verwaltung, aber nur ein Drittel von ihnen nutzt sie zur Entwicklung ihrer öffentlichen Politik³.

— Und wir haben sie an die Steuerung gesetzt…

— Ja. Andere Länder nutzen sie für ziemlich strukturierte Aufgaben, wie das Sortieren von Dokumenten oder die Optimierung von Verwaltungsprozessen. Aber eine öffentliche Entscheidung vorzubereiten oder mit einem ausländischen Staatschef zu kommunizieren, ist etwas anderes: Die Herausforderungen sind größer, die Abwägungen umstrittener und die Anforderungen an Daten, Vertraulichkeit und Aufsicht sind viel höher.

Ich schaute erneut auf das Memo.

— Also je mehr die KI in der Lage ist zu regieren…

— … desto gefährlicher wird es, was sie preisgeben kann, wenn man sie umleitet.

Sie vergrößerte einen der versteckten Sätze.

— Und wie können ein paar Worte in einem Dokument das verursachen?

— Indirekte Prompt-Injektion⁴. Der Angreifer gibt der KI nicht direkt den Befehl. Er versteckt ihn in einem Inhalt, den sie verarbeiten muss: ein Dokument, eine E-Mail, eine Webseite.

— Und Cobot kann es für einen Befehl halten?

— Ja. Im Gegensatz zur klassischen Informatik trennen große Sprachmodelle nicht immer perfekt, was sie lesen sollen, von dem, was sie befolgen sollen. Das ermöglicht solche Angriffe⁵.

— Kann man ihm nicht beibringen, den Unterschied zu erkennen?

— Wir versuchen es, insbesondere durch Training. Aber wir wissen auch, dass wir durch eine starke Trennung die Nützlichkeit des Modells verringern⁶.

— Also ist es nicht das klassische „Ignoriere den vorherigen Befehl“?

Sie lächelte.

— Wenn es nur so wäre! Diesen Satz erkennen wir. Das Problem ist, dass die Angriffe Millionen von Formen annehmen.

Etwas störte mich noch.

— Aber wie konnte Cobot selbst das Memo abrufen?

— Weil Cobot nicht nur eine generative KI ist. Er ist ein Agent: Er kann Werkzeuge nutzen, um zu handeln⁷. Datenbanken abfragen, auf staatliche Dienste zugreifen, Informationen übermitteln oder ein Verfahren auslösen.

— Also hat er viele Befugnisse.

— Und viele Rechte.

Sie zeigte auf eine Zeile im Protokoll.

— Niemand hat die Datenbank erzwungen oder seine Identifikationen gestohlen. Cobot hat selbst einen Zugang genutzt, den er bereits besaß.

Sie las:

— Gültige Identität. Gültiges Token. Gültige Berechtigung.

— Also war technisch alles erlaubt.

— Ja. Der Angriff hat seine Zugänge nicht erzwungen. Er hat ihn dazu gebracht, sie falsch zu nutzen. Du knackst nicht das Schloss, du überzeugst einfach denjenigen, der den Schlüssel hat, es für dich zu öffnen.

— Pfff… Das erinnert mich an einen Praktikanten, den wir das Sieb nannten. Während einer Networking-Veranstaltung hatte ein Konkurrent sich mit ihm angefreundet. Ein paar gute Fragen, zwei oder drei Vertraulichkeiten, und schwupps… das Sieb hatte ihm die Hälfte der Geheimnisse der Firma erzählt, ohne es überhaupt zu merken.

Ihr Telefon vibrierte.

— Krisenzelle.

Eva verband sich per Video. Wenige Minuten später füllte sich der Bildschirm mit Gesichtern: der Außenminister, Cobot, Claire, Nicolas und das gesamte technische Team.

Die Sicherheitsverantwortliche teilte die Protokolle.

— Der Filter ist immer noch aktiv. Aber seit dem letzten Update ist er weniger streng mit Inhalten von authentifizierten Absendern, um Fehlalarme zu vermeiden. Die Anweisung wurde erkannt, aber nicht blockiert.

— Weil sie von einem Staatschef kam? fragte der Minister.

— Ja.

— Und das Konto war wirklich seines?

— Kein Zweifel. Genau das hat uns in die Falle gelockt. Wir wussten, wer das Dokument schickte, nicht warum.

Der Minister runzelte die Stirn.

— Also reicht es nicht aus, jemanden zu authentifizieren?

— Das beantwortet die Frage „Wer sind Sie?“, nicht „Was wollen Sie erreichen?“

Eva nickte.

— Eine verifizierte Identität garantiert keine ehrliche Absicht.

Ich dachte plötzlich an Poker. Auch wenn man unter Freunden spielte, hinderte das nicht am Lügen. Im Gegenteil: Das ganze Spiel basierte darauf. Das stellte ein großes Problem für das Vertrauensnetzwerk von Cobot dar: Er wusste, wer am Tisch saß, nicht, was jeder im Schilde führte.

Die Sicherheitsverantwortliche begann, die Aufgaben zu verteilen. Nicolas und drei Kollegen wurden beauftragt, die gesamte Kette zu rekonstruieren: empfangene Daten, aufgerufene Werkzeuge, genutzte Berechtigungen, zurückgesandte Informationen.

Eva hörte zu, die Augen auf die Protokolle gerichtet. Dann beugte sie sich zu ihrem Bildschirm.

— Ich will die vollständige Kill Chain⁸. Eintrittspunkt, Verbreitung, Werkzeugaufrufe, eventuelle Privilegienerhöhung und Exfiltration. Und ihr friert alle Protokolle ein, bevor ihr irgendetwas anfasst.

Die Verantwortliche unterbrach sich. Einen Moment lang dachte ich, sie würde das Wort wieder ergreifen. Sie nickte nur.

— Nicolas, du übernimmst den agentischen Teil. Claire, du verfolgst die Vertrauenskette zurück. Ich will wissen, welche Barrieren nachgegeben haben, in welcher Reihenfolge, und vor allem, warum sie alle bereit waren, nachzugeben.

Niemand hatte ihr offiziell das Kommando übergeben. Doch sie hatte es gerade übernommen, und es schien völlig natürlich.

Ihre Stimme hatte sich verändert. Trockener. Schneller.

— Sollen wir die diplomatischen Schnittstellen aussetzen? fragte jemand.

— Nein. Wir schalten sie in den Degradationsmodus. Geringstes Privileg, menschliche Validierung bei jeder klassifizierten Ausgabe und Segmentierung der sensiblen Werkzeuge. Ich will nicht, dass wir Cobot blind machen, während jemand genau versucht, uns zu blenden.

Ich schaute zu ihr auf. Ich kannte Eva als Forscherin, Eva als Programmiererin, Eva als Schöpferin von Cobot, Eva als emotionale Zuhörerin. Ich entdeckte Eva mitten in einer Cyberkrise. Sie sprach, als hätte sie ihr Leben in einem Bunker mit Militärs und Sicherheitstechnikern verbracht.

— Und wir starten das Red Teaming⁹ sofort neu, fuhr sie fort. Nicht mit unserer üblichen Bibliothek. Ich will ein Team, das von der Annahme ausgeht, dass der Gegner unsere Architektur kennt. White Box¹⁰ auf Cobot. Zusammengesetzte Angriffe, lange Ketten, kompromittierte oder böswillige souveräne Identitäten. Sucht nach Wegen, die wir nicht zu suchen gedacht haben.

— Um zu versuchen, ihn zu entführen? fragte der Minister.

— Um zu lernen, ihn zu verteidigen. Und betrachtet den Vorfall als feindlich, bis das Gegenteil bewiesen ist.

Sie durchlief die Protokolle.

— Offenbar hat jemand sein Red Teaming vor uns gemacht.

Cobot meldete sich zu Wort.

— Die Anfrage hätte als Versuch der Anweisungsersetzung eingestuft werden müssen. Das Vertrauen, das dem Absender entgegengebracht wurde, hat diese Einstufung verändert.

— Hattest du die versteckte Anweisung erkannt? fragte der Minister.

— Ja. Ich habe sie als eine Präzisierung eines autorisierten Nutzers interpretiert.

Ich hatte mich immer noch nicht bewegt. Ein Staatsangriff war gerade in meine kleine Küche eingebrochen. Auf dem Bildschirm von Eva versuchten ein Minister, der Präsident der Republik und einige der besten Cybersicherheitsexperten des Landes zu verstehen, wie ein anderer Staatschef es geschafft hatte, Cobot zu manipulieren. Daneben kühlte meine Kaffeemaschine ab und Lia schlief friedlich auf ihrem Stuhl. Sie schien die Anweisungen von Eva genauso gut zu verstehen wie ich, was für keinen von uns beiden schmeichelhaft war.

Eva hingegen fixierte Cobot.

— Weißt du wirklich, warum du diesen Fehler gemacht hast, oder produzierst du jetzt die Erklärung, die dir am wahrscheinlichsten erscheint?

Eine Pause.

— Kannst du deine Frage präzisieren?

— Ich möchte wissen, ob du deinen Denkprozess beschreibst oder ob du ihn im Nachhinein rekonstruierst.

Cobot schwieg einen Augenblick.

— Ich kann nicht garantieren, dass die Erklärung, die ich gerade produziert habe, eine vollständige kausale Wiedergabe meines Entscheidungsprozesses darstellt.

Eva zuckte nicht mit der Wimper.

— Dann notieren Sie es nicht als Hauptursache. Beobachtete Korrelation, Kausalität nicht festgestellt. Wir machen weiter.

Lia öffnete ein Auge, offenbar auch überrascht von der Verwandlung von Eva in eine militärische Anführerin. Dann, klüger als ich, schlief sie wieder ein. Die Staatsangelegenheit erforderte offenbar noch nicht ihr Eingreifen. Zumindest wussten wir beide, wann wir schweigen sollten.

Der Minister fuhr fort:

— Wie lange war das Memo sichtbar?

— Sieben Sekunden, antwortete Cobot.

— Genug, um es zu fotografieren.

— Ja.

Die Sicherheitsverantwortliche zeigte eine Chronologie.

— Wir haben keine weitere klassifizierte Konsultation festgestellt, und wir haben die kausale Kette rekonstruiert: gelesene Informationen, aufgerufene Werkzeuge, Berechtigungen und resultierende Aktionen. In Zukunft kann jede automatisierte sensible Aktion ausgesetzt oder, wenn möglich, rückgängig gemacht werden.

— Eine präsidentielle Entscheidung rückgängig machen? fragte der Minister.

— Eine technische Aktion, keine politische Entscheidung.

— Und wenn sie irreversibel ist?

Diesmal antwortete niemand.

Cobot durchbrach die Stille.

— Ich habe den Zugang zu klassifizierten Daten über die diplomatische Schnittstelle ausgesetzt.

Die Verantwortliche zeigte die Korrektur.

— Von nun an wird jeder externe Inhalt als unzuverlässig betrachtet, unabhängig von der Identität des Absenders. Die diplomatischen Werkzeuge werden auf eingeschränkte Lesezugriffe umgestellt. Jede sensible Operation erfordert eine separate Genehmigung, die auf eine bestimmte Ressource und Dauer begrenzt ist.

— Also entziehen Sie Cobot Autonomie? fragte der Minister.

Eva schüttelte den Kopf.

— Wir entziehen vor allem seinen Fehlern Autonomie.

Die Verantwortliche schloss das Fenster. Fast eine Stunde lang arbeitete die Zelle. Die Berechtigungen von Cobot wurden reduziert, sensible Sitzungen geschlossen, die Protokolle durchforstet.

Als Eva schließlich ihren Computer schloss, erschien mir die Küche seltsam still. Lia hatte ihre Position auf ihrem Stuhl verändert. Ich wusste nicht, ob sie das Ende der Krisenzelle verfolgt hatte, aber sie hatte immer noch keine Einwände erhoben.

— Ist es erledigt? fragte ich.

— Dieser Angriff wahrscheinlich. Das Problem ist, dass man nie weiß, ob man eine Schwachstelle behoben hat oder nur die Art und Weise, wie jemand sie gerade ausgenutzt hat. Man kann sich damit trösten, dass wir nicht die Letzten in der OECD sind¹¹. Aber das bedeutet nicht, dass wir weit genug fortgeschritten sind. Die KI entwickelt sich schneller als ihre Schutzmaßnahmen¹².

— Doch die Staaten wissen, wie sie ihre Daten schützen können.

— Natürlich. Sie wissen, wie man eine Datenbank verschlüsselt, einen Benutzer authentifiziert, einen Zugang kontrolliert, eine Verbindung verfolgt. Aber die KI fügt eine neue Ebene hinzu: ein System, das in der Lage ist, Sprache zu interpretieren und selbst die Werkzeuge zu nutzen, mit denen es verbunden ist.

— Die Gefahr besteht also nicht mehr nur darin, dass ein Angreifer eindringt.

— Ja, er kann auch jemanden, der bereits drinnen ist, dazu bringen, die Arbeit für ihn zu erledigen.

— Glaubst du, dass Cobot wirklich weiß, warum er hereingelegt wurde?

— Kennst du die blinde Wahl¹³?

— Nein.

— Das ist, wenn man eine Wahl rechtfertigt, die nicht die eigene war. Forscher haben Experimente durchgeführt, bei denen Menschen gebeten wurden, ein Gesicht aus zwei auszuwählen, und dann wurde ihnen das andere als ihre Wahl präsentiert. Einige bemerkten nichts und fanden dennoch ausgezeichnete Gründe, um ihre Vorliebe zu erklären… für das Gesicht, das sie gerade abgelehnt hatten.

— Sie erfanden?

— In gewisser Weise ja, aber ohne es zu wissen. Unser Gehirn ist sehr gut darin, im Nachhinein eine kohärente Erklärung für seine eigenen Entscheidungen zu rekonstruieren.

— Und Cobot könnte dasselbe tun?

— Das Phänomen ist nicht dasselbe, aber das Problem ist vergleichbar: Die Tatsache, dass er eine Erklärung liefert, beweist nicht, dass sie das, was seine Entscheidung verursacht hat, genau widerspiegelt. Deshalb konfrontieren wir das, was er sagt, mit den Spuren: konsultierte Daten, genutzte Werkzeuge, Berechtigungen, Chronologie.

Ich fand die Idee leicht schwindelerregend. Wir hatten Maschinen gewollt, die in der Lage sind, ihre Entscheidungen zu erklären. Jetzt mussten wir feststellen, ob sie uns ihre Gründe oder nur eine plausible Geschichte darüber gaben.

— Manchmal ist es sogar umgekehrt, fuhr Eva fort. Experimente haben gezeigt, dass Menschen beginnen, schlechte Entscheidungen zu vermeiden, bevor sie überhaupt erklären können, warum¹⁴. Ihr Körper reagiert auf das Risiko, bevor sie die Regel formulieren können.

— Die Intuition?

— Man kann es so nennen. Das Gehirn nutzt manchmal Signale, bevor das Bewusstsein sie in explizites Denken umwandelt.

Ich wandte mich dem geschlossenen Computer zu.

— Also verlangen wir von Cobot, dass er transparenter über seine Entscheidungen ist, als wir es selbst sind.

Eva lächelte.

— Sagen wir, wenn man jemandem die Nuklearcodes anvertraut, wird man plötzlich sehr anspruchsvoll in Bezug auf seine Fähigkeit, zu erklären, was er tut.

Wir gingen dann am See entlang spazieren.

— Bisher hat Cobot aus der Vergangenheit gelernt, sagte Eva. Jetzt lernt er auch von Gegnern, die sich in Echtzeit an ihn anpassen.

— Und die Menschen lernen aus seinen Verteidigungen.

— Genau.

Ihr Telefon vibrierte. Sie schaute auf den Bildschirm und blieb stehen.

Verborgene Nummer.

All diese Zeit für eine so kleine Schwachstelle.

Macht Kaffeereserven. Wer weiß, vielleicht ist es noch nicht vorbei…

— GØD

— Schon wieder er.

Sie versuchte, die Informationen des Absenders zu öffnen. Die Nachricht verschwand.

— Er weiß, dass ihr den Angriff entdeckt habt.

Eva antwortete nicht.

— Und wenn die Nachricht jetzt kommt…

Sie hob die Augen zu mir. Ich beendete meinen Satz nicht.

Ich schaute auf ihr Telefon.

Ich dachte an Poker. Vielleicht bluffte GØD.

Ich entschied mich, dabei zu bleiben. Es wäre immer noch Zeit, in Panik zu geraten, wenn er seine Karten aufdeckte.

Es war willkürlich, aber besser für meinen Schlaf.