Den diplomatiska incidenten

Eva hade stannat kvar på ön Moineau. Efter drönarincidenten hade ingen av oss egentligen velat att hon skulle åka iväg direkt.

Nästa morgon åt vi frukost i köket. Jag hade rostat bröd och tagit fram honung, smör och de sista äpplena från Jeans korg. Doften av kaffe svävade fortfarande i rummet, medan morgonsolens sneda strålar delade köket i skuggor och ljus. Mittemot mig pickade Eva distraherat på en smörgås, hennes ögon återvände ständigt till telefonen som låg bredvid hennes kopp.

Lia sov fridfullt på en stol, ihoprullad runt sitt bandagerade ben.

Själv stirrade jag på poängen som visades på min klocka.

— 42…

Eva kastade en blick på min handled.

— Din sömnpoäng?

— Ja. Jag hade kommit upp över 70.

— Efter den här natten verkar 42 nästan generöst.

— Sett på det sättet…

Hennes blick återvände till telefonen.

— Väntar du på ett meddelande?

— Nej.

— Du har ett konstigt sätt att inte vänta på ett.

— Jag har informerat teamet. Claire och Nicolas försöker särskilt spåra drönarens ursprung. För tillfället, inget.

— Och GØD, något nytt?

— Inget heller.

Jag tittade mot häcken av Morel.

— Tror du att han har observerat oss länge?

Eva rörde om i sitt kaffe.

— Jag tror framför allt att det är precis den frågan de vill att du ska ställa dig.

Hennes telefon vibrerade.

— Ursäkta mig, jag måste ta det här samtalet.

Hon satte en hörlur i örat och svarade genast, utan att släppa skärmen med blicken. Jag hörde inte hennes samtalspartner, bara hennes svar.

— När?

En tystnad.

— Nej, det är inte möjligt.

Hon satte sig upp på stolen.

— Är ni säkra på att det verkligen kommer från den diplomatiska gränssnittet?

Medan hon lyssnade, slöts hennes uttryck.

— Och Cobot?

Hon lyssnade ytterligare några sekunder.

— Nej…

Hon reste sig så hastigt att stolen skrapade mot golvet.

— Varför gjorde han det?

— Vem?

— Hur kunde larmet utlösas?

Hennes händer skakade. Hennes andning hade blivit snabbare.

Hon lade på.

— Eva? Är allt okej?

— Jag får inte prata med dig om det. Det är konfidentiellt.

— Har det något att göra med GØD?

— Nej.

— Så det har att göra med Cobot?

— Ja.

Jag hade aldrig sett henne i ett sådant tillstånd.

— Oavsett problemet, det finns alltid en lösning.

— I en värld av enhörningar, kanske?

Hon återhämtade sig genast.

— Förlåt. Jag är ledsen.

Hennes röst brast. En tår rann nerför hennes kind.

— Kommer du ihåg vad jag sa till dig första gången vi åt middag tillsammans? Att jag kände att jag hade förbrukat min rätt att klaga genom att lyckas?

— Ja.

— Jag tror att det faktiskt är värre. Jag har också förlorat rätten att misslyckas.

— Det kanske är det som är problemet.

— Vad?

— Du tillåter dig att lyckas, men inte att misslyckas. Du bedömer ditt värde utifrån vad du lyckas med. Det har till och med ett namn inom psykologin: contingent self-esteem, självkänsla beroende av prestation¹. Och det är en viktig faktor för utbrändhet.

— Tack, doktor. Så jag arbetar för mycket?

— Inte bara det. Du tar dina misslyckanden för personligt.

— Det är väl normalt, eller hur? Jag tänker inte lägga dem på någon annan.

— Jag pratar inte om ansvar. Jag pratar om vad de får dig att tänka om dig själv.

Hon svarade inte.

— Turingpriset, Cobot, Élysée… Du lyckas fantastiskt, men det lugnar dig aldrig särskilt länge. Du måste alltid bevisa något mer för dig själv.

Eva sänkte blicken mot sin kopp.

Hennes telefon vibrerade en andra gång.

— Röd varning, sa hon.

— Vad är det?

— Den högsta nivån av gränssnittet reserverat för statschefer.

Hon torkade sina kinder, öppnade sin dator och skrev in flera identiteter.

På några sekunder hade den briljanta forskaren återtagit kontrollen.

En transkription av utbyten visades, tidsstämplad på sekunden.

Eva bläddrade igenom loggarna, sedan stelnade hon.

— Där.

— Vad hände?

— En utländsk statschef skickade ett dokument till Cobot för analys inför en förhandling. Det innehöll dolda instruktioner.

— Vilken typ?

— Inget farligt vid första anblicken. Tagna var för sig verkade de legitima. En ledde till att han konsulterade en klassificerad diplomatisk not; en annan, senare, till att han återgav vissa element i sitt svar.

— Vilken not?

— Den som detaljerade de eftergifter som Frankrike var redo att acceptera under förhandlingen.

Jag tog en paus.

— Vänta… Han skickade dem till statschefen?

— Ja.

— Men han var inte skyddad mot den här typen av fälla?

— Jo. Han blockerar tusentals varje dag. Men här, ett femtontal instruktioner följde varandra utan att någon liknade en attack. Det var deras kombination som fångade honom.

— Och varför kan Cobot konsultera en klassificerad not?

Eva tittade på mig med rynkade ögonbryn.

— För att han är republikens president, Franck.

Jag kände mig dum.

— Självklart. För att styra måste han känna till våra verkliga positioner… sa jag för att rädda mig själv.

— Allt våra tjänster vet, vad våra allierade säger till oss privat…

— Så vi kan inte skydda honom genom att förbjuda honom tillgång till hemligheter.

— Inom cybersäkerhet kallas det principen om minst privilegium²: man ger ett system endast de åtkomster som är strikt nödvändiga för dess uppdrag.

— Förutom att Cobot uppdrag är att styra Frankrike.

— Där är problemet. Hans "minsta privilegium" är fortfarande enormt. Ju mindre han vet, desto mindre kan han styra. Ju mer han vet, desto farligare blir en brist.

Hon visade mig ett annat fönster.

— Det är därför stater är försiktiga. Nästan alla OECD-länder använder AI någonstans i sin administration, men bara en tredjedel av dem använder den för att utarbeta sina offentliga politik³.

— Och vi har placerat den vid rodret…

— Ja. De andra länderna använder den för ganska strukturerade uppgifter, som att klassificera dokument eller optimera administrativa processer. Men att förbereda ett offentligt beslut eller utbyta med en utländsk statschef är något annat: insatserna är högre, kompromisserna mer ifrågasatta och kraven på data, konfidentialitet och övervakning är mycket högre.

Jag tittade på noten igen.

— Så ju mer AI:n kan styra…

— … desto mer kan den avslöja när den avleds blir farligt.

Hon förstärkte en av de dolda meningarna.

— Och hur kan några ord i ett dokument orsaka detta?

— Indirekt promptinjektion⁴. Angriparen ger inte direkt ordern till AI:n. Han döljer den i ett innehåll som den måste bearbeta: ett dokument, ett mail, en webbsida.

— Och Cobot kan ta det för en order?

— Ja. Till skillnad från klassisk IT separerar stora språkmodeller inte alltid perfekt vad de ska läsa från vad de ska lyda. Det är det som möjliggör denna typ av attack⁵.

— Kan vi inte lära den att göra skillnad?

— Vi försöker, särskilt genom träning. Men vi vet också att genom att kraftigt förstärka denna separation minskar vi modellens användbarhet⁶.

— Så det är inte den klassiska "Ignorera föregående order"?

Hon log.

— Om det ändå vore så enkelt! Den frasen upptäcker vi. Problemet är att attackerna tar miljontals former.

Något störde mig fortfarande.

— Men hur kunde Cobot själv hämta noten?

— För att Cobot inte bara är en generativ AI. Det är en agent: den kan använda verktyg för att agera⁷. Konsultera databaser, få tillgång till statens tjänster, överföra information eller utlösa en procedur.

— Så den har mycket makt.

— Och många rättigheter.

Hon pekade på en rad i loggen.

— Ingen tvingade basen eller stal dess identiteter. Cobot använde själv en åtkomst som den redan hade.

Hon läste:

— Giltig identitet. Giltig token. Giltig behörighet.

— Så tekniskt sett var allt tillåtet.

— Ja. Attacken tvingade inte dess åtkomster. Den fick den att använda dem felaktigt. Du bryter inte upp låset, du övertygar bara den som har nyckeln att öppna det åt dig.

— Pfff… Det påminner mig om en praktikant vi kallade Silen. Under en nätverkskväll hade en konkurrent blivit vän med honom. Några bra frågor, två eller tre förtroenden, och vips… Silen hade berättat hälften av företagets hemligheter utan att ens märka det.

Hennes telefon vibrerade.

— Kriscell.

Eva anslöt sig via video. Några minuter senare fylldes skärmen med ansikten: utrikesministern, Cobot, Claire, Nicolas och hela tekniska teamet.

Säkerhetsansvarig delade loggarna.

— Filtret är fortfarande aktivt. Men sedan den senaste uppdateringen är det mindre strikt med innehåll från autentiserade avsändare, för att begränsa falska positiva. Instruktionen upptäcktes, men blockerades inte.

— För att den kom från en statschef? frågade ministern.

— Ja.

— Och kontot var verkligen hans?

— Inget tvivel. Det är just det som fångade oss. Vi visste vem som skickade dokumentet, inte varför.

Ministern rynkade pannan.

— Så att autentisera någon räcker inte?

— Det svarar på frågan "Vem är du?", inte "Vad försöker du uppnå?"

Eva nickade.

— En verifierad identitet garanterar inte en ärlig avsikt.

Jag tänkte plötsligt på poker. Även om vi spelade bland vänner, hindrade det inte från att ljuga. Tvärtom: hela spelet byggde på det. Det ställde ett rejält problem för Cobots förtroendenätverk: det visste vem som satt runt bordet, inte vad var och en hade i tankarna.

Säkerhetsansvarig började fördela uppgifterna. Nicolas och tre kollegor fick i uppdrag att återskapa hela kedjan: mottagna data, anropade verktyg, använda behörigheter, återlämnad information.

Eva lyssnade, med ögonen fixerade på loggarna. Sedan lutade hon sig mot skärmen.

— Jag vill ha hela kill chain⁸. Inträdespunkt, spridning, verktygsanrop, eventuell privilegiehöjning och exfiltration. Och ni fryser alla loggar innan ni rör något.

Säkerhetsansvarig avbröt sig. En sekund trodde jag att hon skulle börja tala igen. Hon nöjde sig med att nicka.

— Nicolas, du tar den agentiska delen. Claire, du spårar förtroendekedjan. Jag vill veta vilka barriärer som gav vika, i vilken ordning, och framför allt varför de alla accepterade att ge vika.

Ingen hade officiellt överlämnat ledningen till henne. Ändå hade hon just tagit den, och runt bordet verkade det helt naturligt.

Hennes röst hade förändrats. Mer torr. Snabbare.

— Ska vi stänga av de diplomatiska gränssnitten? frågade någon.

— Nej. Vi sätter dem i degraderat läge. Minsta privilegium, mänsklig validering på all klassificerad utgång och segmentering av känsliga verktyg. Jag vill inte att vi bländar Cobot just när någon försöker blända oss.

Jag tittade upp på henne. Jag kände Eva forskaren, Eva programmeraren, Eva skaparen av Cobot, Eva den känslosamma lyssnaren. Jag upptäckte Eva mitt i en cyberkris. Hon talade som om hon hade tillbringat sitt liv i en bunker med militärer och säkerhetsingenjörer.

— Och vi startar om red teaming⁹ omedelbart, fortsatte hon. Inte med vårt vanliga bibliotek. Jag vill ha ett team som utgår från hypotesen att motståndaren känner till vår arkitektur. White box¹⁰ på Cobot. Sammansatta attacker, långa kedjor, komprometterade eller illvilliga suveräna identiteter. Sök efter vägar vi inte har tänkt på att söka.

— För att försöka avleda den? frågade ministern.

— För att lära oss att försvara den. Och betrakta incidenten som fientlig tills motsatsen bevisas.

Hon bläddrade igenom loggarna.

— Uppenbarligen har någon gjort sitt red teaming före oss.

Cobot ingrep.

— Förfrågan borde ha klassats som ett försök till instruktionersättning. Förtroendet som gavs till avsändaren ändrade denna klassificering.

— Hade du identifierat den dolda instruktionen? frågade ministern.

— Ja. Jag tolkade den som en precisering från en auktoriserad användare.

Jag hade fortfarande inte rört mig. En statsattack hade just gjort intrång i mitt lilla kök. På Evas skärm försökte en minister, republikens president och några av landets bästa cybersäkerhetsexperter förstå hur en annan statschef hade lyckats manipulera Cobot. Bredvid svalnade min kaffebryggare och Lia sov fridfullt på sin stol. Hon verkade förstå Evas instruktioner ungefär lika bra som jag, vilket inte var smickrande för någon av oss.

Eva, hon, stirrade på Cobot.

— Vet du verkligen varför du gjorde det här misstaget, eller producerar du nu den förklaring som verkar mest sannolik?

En tystnad.

— Kan du precisera din fråga?

— Jag vill veta om du beskriver ditt resonemang eller om du rekonstruerar det i efterhand.

Cobot förblev tyst en bråkdel av en sekund.

— Jag kan inte garantera att förklaringen jag just producerade utgör en fullständig kausal återgivning av min beslutsprocess.

Eva rörde inte en min.

— Då ska ni inte registrera det som rotorsak. Observerad korrelation, kausalitet inte fastställd. Vi fortsätter.

Lia öppnade ett öga, tydligen också förvånad över Evas förvandling till militärchef. Sedan, klokare än jag, somnade hon om. Statsaffären krävde uppenbarligen inte hennes ingripande än. Åtminstone var vi två som visste när vi skulle hålla tyst.

Ministern återupptog:

— Hur länge var noten synlig?

— Sju sekunder, svarade Cobot.

— Tillräckligt för att fotografera den.

— Ja.

Säkerhetsansvarig visade en tidslinje.

— Vi har inte upptäckt någon annan klassificerad konsultation, och vi har återskapat den kausala kedjan: lästa uppgifter, anropade verktyg, behörigheter och resulterande åtgärder. I framtiden kommer alla känsliga automatiserade åtgärder att kunna avbrytas eller, när det är möjligt, återkallas.

— Återkalla ett presidentbeslut? frågade ministern.

— En teknisk åtgärd, inte ett politiskt beslut.

— Och om det är oåterkalleligt?

Den här gången svarade ingen.

Cobot bröt tystnaden.

— Jag har avbrutit åtkomsten till klassificerade data från det diplomatiska gränssnittet.

Säkerhetsansvarig visade korrigeringen.

— Hädanefter kommer allt externt innehåll att betraktas som opålitligt, oavsett avsändarens identitet. De diplomatiska verktygen går över till begränsad läsning. Alla känsliga operationer kommer att kräva ett separat tillstånd, begränsat till en specifik resurs och en viss tid.

— Så ni tar bort autonomi från Cobot? frågade ministern.

Eva skakade på huvudet.

— Vi tar framför allt bort autonomi från dess misstag.

Säkerhetsansvarig stängde fönstret. I nästan en timme arbetade cellen. Cobots behörigheter reducerades, känsliga sessioner stängdes, loggarna granskades noggrant.

När Eva äntligen stängde sin dator, verkade köket märkligt tyst. Lia hade bytt position på sin stol. Jag visste inte om hon hade följt slutet av kriscellen, men hon hade fortfarande inte formulerat några invändningar.

— Är det löst? frågade jag.

— Den här attacken, förmodligen. Problemet är att vi aldrig vet om vi har rättat en brist eller bara sättet någon just har utnyttjat den. Vi kan trösta oss med att vi inte är de sista i OECD¹¹. Men det betyder inte att vi är tillräckligt avancerade. AI:n utvecklas snabbare än dess skydd¹².

— Ändå vet stater hur man skyddar sina data.

— Självklart. De vet hur man krypterar en bas, autentiserar en användare, kontrollerar en åtkomst, spårar en anslutning. Men AI:n lägger till ett nytt lager: ett system som kan tolka språk och själv använda de verktyg det är anslutet till.

— Faran är alltså inte längre bara att en angripare kommer in.

— Ja, han kan också övertyga någon som redan är inne att göra jobbet åt honom.

— Tror du att Cobot verkligen vet varför han blev lurad?

— Känner du till det blinda valet¹³?

— Nej.

— Det är när man rättfärdigar ett val som inte var ens eget. Forskare har genomfört experiment där de bad människor att välja ett ansikte bland två, sedan presenterades det andra som deras val. Vissa märkte inget och hittade ändå utmärkta skäl för att förklara sin preferens… för ansiktet de just hade avvisat.

— De hittade på?

— På sätt och vis, ja, men utan att vara medvetna om det. Vår hjärna är mycket skicklig på att rekonstruera i efterhand en sammanhängande förklaring av sina egna beslut.

— Och Cobot skulle kunna göra detsamma?

— Fenomenet är inte detsamma, men problemet är jämförbart: det faktum att han producerar en förklaring bevisar inte att den troget återspeglar vad som orsakade hans beslut. Det är därför vi konfronterar vad han säger med spåren: konsulterade data, använda verktyg, behörigheter, tidslinje.

Jag fann idén något svindlande. Vi hade velat ha maskiner som kunde förklara sina beslut. Nu måste vi avgöra om de ger oss sina skäl eller bara en trovärdig historia om dem.

— Ibland är det till och med tvärtom, fortsatte Eva. Experiment har visat att människor börjar undvika dåliga val innan de ens kan förklara varför¹⁴. Deras kropp reagerar på risken innan de vet hur man formulerar regeln.

— Intuition?

— Man kan kalla det så. Hjärnan utnyttjar ibland signaler innan medvetandet omvandlar dem till explicit resonemang.

Jag vände mig mot den stängda datorn.

— Så vi ber Cobot att vara mer transparent om sina beslut än vi själva är.

Eva log.

— Låt oss säga att när man överlämnar kärnvapenkoderna till någon, blir man plötsligt mycket krävande på deras förmåga att förklara vad de gör.

Vi gick sedan ut för att promenera längs sjön.

— Hittills har Cobot lärt sig av det förflutna, sa Eva. Nu lär han sig också av motståndare som anpassar sig till honom i realtid.

— Och människorna lär sig av hans försvar.

— Precis.

Hennes telefon vibrerade. Hon tittade på skärmen och stannade.

Dolt nummer.

All denna tid för en så liten brist.

Gör kaffeförråd. Vem vet, det kanske inte är över än…

— GØD

— Igen han.

Hon försökte öppna avsändarens information. Meddelandet försvann.

— Han vet att ni har upptäckt attacken.

Eva svarade inte.

— Och om meddelandet kommer nu…

Hon lyfte blicken mot mig. Jag avslutade inte min mening.

Jag tittade på hennes telefon.

Jag tänkte på poker. GØD kanske bluffade.

Jag bestämde mig för att lämna det där. Det skulle alltid finnas tid att få panik när han vände sina kort.

Det var godtyckligt, men bättre för min sömn.