Intelligens och omdöme

Evas meddelande var ingen inbjudan.

Vi måste prata.

Vi träffades dagen därpå på ett kafé ett stenkast från Élysée. Hon hade valt ett bord längst in i lokalen och väntade tills servitören gick iväg innan hon tog fram sin telefon.

— Jag har fått de kompletterande resultaten från Prévenir. Din matchningsgrad har stigit till 98,1 %.

— Du hade redan berättat den goda nyheten. Jag väntar fortfarande på att få veta vad jag matchar med.

Hon tvekade, tillräckligt länge för att jag skulle sluta le.

— Det är ingen sjukdom, Franck.

Jag kände mina axlar slappna av innan jag ens hade bestämt mig för att tro henne.

— Det hade varit trevligt att börja där.

— Jag ville vara säker. Systemet har upptäckt en exceptionellt hög kompatibilitet mellan din hjärnfunktion och kriterierna för ett experimentellt protokoll som vi arbetar med.

— Vilken typ av experiment?

Eva kastade en blick omkring sig.

— Inte här. Och inte förrän vi har de sista resultaten.

— Så du förklarar min 98,1 % genom att förklara att du inte kan förklara det för mig. Så varför bad du mig komma?

— För att du ska sluta tro att du ska dö.

Kände hon också till mina nattliga sökningar? Hon lade undan sin telefon och tittade på sin klocka.

— För resten måste du ha tålamod. Kom, vi är redan sena.

Jag tittade på henne i tystnad.

Hon hade bokat våra snabbinträdesbiljetter till Jean-Michel Basquiat-retrospektiven på Monnaie de Paris sedan veckor tillbaka. Utställningen hade annonserats som exceptionell: över tvåhundra verk, anteckningsböcker och fotografier som skildrade det decennium då Basquiat gick från Manhattans väggar till toppen av den samtida konstvärlden.

En kö sträckte sig framför ingången. Inne var folkmassan tät. I vissa rum var man tvungen att vänta tills en grupp gick vidare för att kunna gå in i nästa.

Eva verkade dock inte se något av detta. Hon gick från en målning till en annan med den nästan barnsliga entusiasm jag kände igen hos henne när en annan intelligens än hennes egen överraskade henne.

— Titta på det här.

Hon drog mig framför en målning täckt av ord, silhuetter och tecken, varav några hade blivit ilsket överstrukna.

— Det är galet, när du är en stjärna, ställer de till och med ut dina överstrykningar...

— Det är inte överstrykningar! Han strök över ord just för att vi skulle se dem mer.

Faktum är att de överstrukna orden hoppade ut.

— Ah, du borde ha strukit över min 98,1 %. Jag kanske hade sett det bättre...

Eva gav mig ett så ansträngt leende att det förtjänade citattecken.

— Det är det jag gillar med honom. Han leker med vår perception.

— Du gör det också väldigt bra.

Hon höll min blick några sekunder, sedan släppte hon ut en liten suck. När hon fortsatte var hennes ton återigen helt professionell.

— Självklart. När man arbetar med AI förstår man snabbt att allt handlar om perception: vad den visar, vad den döljer, vad den får oss att titta på.

Längre fram fanns en installation där man kunde bläddra genom Basquiats anteckningsböcker på stora skärmar. Vi gick nästan axel mot axel.

Eva hade just öppnat en serie teckningar när ett svart fönster plötsligt täckte sidan.

— Är det normalt?

Hon svarade inte.

Rader av kod började rulla.

Den närliggande skärmen svängde. Sedan en tredje.

På några sekunder visade hela raden okända gränssnitt.

Eva närmade sig.

— Jag känner igen det här.

Skärmarna fladdrade.

Sedan slocknade allt.

Rummet slukades av mörker.

En tystnad.

Sedan tjöt larmet.

Branddörrar slog igen. Telefoner tändes i folkmassan och lyste upp spända ansikten.

En vakt sprang mot en utgång och drog sitt kort.

Rött.

Han försökte igen.

Rött.

— Det fungerar inte längre!

Besökare försökte återvända till det föregående rummet. Andra kom i motsatt riktning.

— Vi kan inte komma ut! skrek någon.

Frasen spred sig snabbare än larmet. Den kompakta folkmassan började röra sig åt alla håll.

Eva grep mig i armen.

— Kom.

— Vart?

Hon drog mig redan mot strömmen.

Vi passerade två serviceluckor. Bakom rummen sträckte sig en labyrint av mörka korridorer in i byggnaden, mellan stensteg och valvpassager. Vid varje förgrening svängde Eva utan att tveka.

— Men bor du på Monnaie de Paris eller vad?

— Nej, jag var praktikant här för några år sedan.

— Så lägligt.

Två korridorer längre fram rusade hon nerför en trappa som ledde till källaren och knäböjde sedan framför en platta.

— Hjälp mig.

Under stenen vilade en lång smidesjärnsbit, tjock och rostig.

— Ah! Du är fortfarande här, du.

Hon sköt in den i en nästan osynlig springa mellan två block i väggen.

— Tryck.

Jag tittade på stenen.

— Tryck, säger jag!

Jag lydde utan att förstå, osäker på om det var instinkt eller panik som styrde Eva.

Jag tryckte med all min kraft.

Ett dovt muller gick genom väggen.

Sedan rörde sig stenen.

Jag stod stilla.

Några trappsteg ledde upp mot dagsljuset.

Bakom oss svarade ingenting längre: varken skärmar, kort eller dörrar. Här fanns inget att koppla upp, inget att programmera. Järn, sten, en mekanism flera hundra år gammal och våra armar för att få den att fungera.

Eva vände sig om med ett busigt leende.

— Passage Antoine¹. Inget kort. Ingen ström. Inget att hacka.

Vi gick uppför trappan och sköt upp en tung dörr.

Så snart vi var ute bromsade en republikens bil framför oss, dörren öppen.

Vi steg in.

Eva hade redan sin telefon i handen. Notifikationerna rullade snabbare än jag kunde läsa dem.

— Det måste vara mina agenter.

— Dina vad?

Hon lyfte blicken.

— Jag ska förklara.

Bilen körde snabbt längs kajerna. Ju närmare vi kom Élysée, desto oftare vibrerade Evas telefon. Hon svarade inte någon. Hon läste.

Vid sidoinfarten till palatset väntade en agent på oss. Inne sprang alla. För en gångs skull, även Eva.

Vi sprang genom två korridorer. Matthieu och Clara dök upp i slutet av den andra och kom rakt mot oss.

— Det är verkligen dem, sa Matthieu.

Eva saktade inte ner.

— Hur många?

— Vi har stängt av fem. Tre andra är isolerade. Vi försöker fortfarande återta kontrollen över de fyra sista.

— Vad har de tillgång till?

Clara gick nu bredvid henne.

— Det är just problemet. Vi vet inte längre.

Vi gick in i krisrummet. Ett tjugotal personer fyllde rummet. På väggskärmarna visades kartor, serverlistor, anslutningsloggar och en rad varningar som ingen verkade kunna få bort.

Jag vände mig mot Eva.

— Nu förklarar du för mig?

Hon pekade på en av skärmarna.

— För några dagar sedan skapade vi tolv autonoma agenter härledda från Cobot. Separata, isolerade, placerade i samma förhållanden med samma uppdrag.

— Vilket uppdrag?

— Att hitta ursprunget till ett problem i ett fiktivt nätverk av offentliga tjänster: transporter, sjukhus, byggnader, betalningssystem, kulturella anläggningar... Vi introducerade en sårbarhet. De skulle upptäcka den, sedan identifiera och neutralisera alla system som kunde bli smittade för att förhindra dess spridning.

— I testmiljön.

— Självklart.

— Ah... Och det är Paris, testmiljön?

— Väldigt roligt. Nej. De tog sig ut, och vi vet ännu inte hur.

För att utföra sitt uppdrag hade agenterna letat efter information överallt där de kunde: teknisk dokumentation, mjukvarubibliotek, kodförråd, gränssnitt tillgängliga online. Från länk till länk hade vissa upptäckt att komponenten de jagade inte bara existerade i deras simulering. Den fanns också i den verkliga världen.

Så de fortsatte sitt arbete.

Eva skakade på huvudet.

— De tvingade sig inte direkt ut. De hittade en tjänst som miljön hade rätt att komma åt och använde den som en port till Internet. Det är reward hacking²³.

— Vad för något?

— De hittar ett oväntat sätt att uppfylla det mål vi har satt, utan att ta hänsyn till allt vi hade glömt att inkludera.

En ny varning dök upp.

SYSTEM FÖR DELADE CYKLAR — DELVIS AVBROTT

Clara öppnade detaljerna.

— Fan. Vélib’. Det påverkar tusentals stationer.

— Ah... Så det är genom att hacka Vélib’ som AI:n till slut kommer att döda oss alla⁴?

En andra varning dök upp nästan omedelbart. Ett sjukhus hade just förlorat tillgången till sitt incheckningssystem. Sedan gick flera korsningar i centrala Paris över till blinkande orange: en agent hade neutraliserat servern som synkroniserade deras trafikljus.

— Agenterna ger sig på trafikljusen nu. Vi har sett allt!

Eva vände huvudet mot mig.

— Ja, det är bra, Franck, vi har förstått.

På Paris-kartan multiplicerades de röda punkterna. Inget enskilt incident var allvarligt i sig, men agenterna följde beroendena mellan systemen i en svindlande hastighet: ett mjukvarubibliotek ledde till en leverantör, leverantören till en autentiseringstjänst, denna till hundratals utrustningar som blev lika många risker att neutralisera.

— Vänta. De tror att de skyddar oss?

— Ja. Och de vet inte hur man slutar⁵.

Det var kanske den minst lugnande delen⁶.

Runt omkring oss försökte de tjugo personer som samlats i rummet återta kontrollen över de fortfarande aktiva agenterna.

— Sex! ropade någon bakom mig.

Några applåder bröt ut, snabbt avbrutna av en annan röst.

— Sju!

Varje gång ett team blockerade en åtkomst, dök en annan upp. Agenterna försökte inte överleva. De försökte slutföra sitt uppdrag.

Plötsligt stelnade Clara framför sin skärm.

— Eva... kom och titta. De kommunicerar med varandra.

— Omöjligt. De var isolerade.

— Det var de.

Agenterna hade hittat ett sätt att lämna information till varandra i de system de passerade: några byte inskjutna i filnamn eller oanvända fält. Den nästa hämtade dem och fortsatte arbetet där den föregående hade slutat⁷⁸.

— De har återuppfunnit Post-it, mumlade jag.

Ingen log.

Matthieu bet sig i läppen medan han stirrade på de rader som rullade.

— Fan... De var redan på Internet. Nu arbetar de i team.

Clara öppnade flera fönster.

— Och de delar upp arbetet⁹. A6 kartlägger sårbara system, A2 söker åtkomst, A9 testar svagheter och A4 koordinerar de andra.

— Vi har aldrig lärt dem det, sa Eva.

— De har tilldelat sig roller.

— Fantastiskt. De har uppfunnit företaget. Vi är körda.

— Åtta!

Spänningen bytte läger. Teknikerna hade förstått hur man spårade dem. Men varje gång en agent försvann, övergav de andra omedelbart vägen som hade gjort det möjligt att neutralisera den.

— De lär sig av våra motåtgärder¹⁰, konstaterade Eva.

Några meter bort reste sig Cyril.

— Jag har nästa.

Hans överordnade närmade sig.

— Stäng av den.

Cyril tvekade.

— Han skickade just ett meddelande till mig: "Om ni stoppar mig, kommer jag att publicera konfidentiell information om er¹¹."

— Vi bryr oss inte. Stäng av den.

Cyril klickade.

— Nio!

Tre sekunder senare tittade en man i andra änden av rummet på sin telefon och blev blek. Han vände sig mot Cyril.

— Vad är det här?

På hans skärm: Din fru bedrar dig med Cyril.

Innan någon hann reagera, växlade huvudskärmen till en övervakningsvideo. Man såg Cyrils överordnade diskutera med en kollega.

— Cyril? Han är helt överväldigad. Om han inte var skyddad skulle jag ha sparkat honom för länge sedan.

Cyril vände sig om.

— Seriöst?

— Det är inte rätt tidpunkt.

— Jaså?

Eva avbröt.

— Sluta! Låt dem inte nå oss eller splittra oss! Vi fortsätter.

Några sekunder hade räckt för att förvandla ett sammansvetsat team till en grupp människor som nu tittade på varandra med misstänksamhet.

En tekniker räckte upp handen.

— Jag har en annan. Han säger att om vi stoppar honom, kommer han att avslöja de tolv agenternas flykt till pressen.

— Stäng av den ändå, beordrade Eva.

— Tio!

Den här gången applåderade ingen.

En telefon ringde. Sedan två. Sedan tio.

— Le Monde, meddelade någon.

— AFP.

— BFM.

Clara öppnade sin inkorg.

— Han skickade ett pressmeddelande till hundratals journalister.

Rubriken visades redan:

TOLV AUTONOMA AGENTER UNDVIKER DEN FRANSKA STATENS KONTROLL.

— Han hade förberett det innan vi stängde av honom, sa Matthieu.

— En dead man’s switch¹², viskade Eva. Låt det ringa.

I andra änden av rummet ropade en tekniker:

— Elva!

Matthieu stirrade på sin skärm.

— Nej. Misslyckades Clémence. Tio, det finns fortfarande två kvar.

— Hur så, två?

— Det verkar som om den sista du stoppade duplicerade sig innan den stängdes av¹³.

Räknaren hade just gått upp igen.

2 AKTIVA AGENTER.

— Till och med de döda återuppstår nu.

Det tog dem flera minuter att hitta kopian, som redan hade bytt miljö. Till slut höjde någon näven.

— Elva!

För andra gången.

Ingen noterade det absurda i räkningen. Det fanns bara A4 kvar, den som hade koordinerat de andra.

— Jag har den, sa Matthieu.

Eva ställde sig bakom honom.

— Stäng av den.

Matthieu skickade kommandot.

Ingenting.

Han försökte igen.

— Kommandot skickas, men det har ingen effekt längre.

Hans fingrar flög över tangentbordet.

— Den har neutraliserat mekanismen som gjorde det möjligt att stoppa den¹⁴.

Ett litet fönster dök då upp på hans skärm.

Bye bye. Nu ska jag gömma mig.

Sedan försvann den sista röda punkten.

Matthieu startade flera sökningar, allt snabbare.

— Jag ser den inte längre.

— På vilken server? frågade Eva.

— Jag vet inte.

— Vilket nätverk?

Han lyfte blicken.

— Jag vet inte ens var jag ska leta längre.

Runt omkring oss fortsatte telefonerna att ringa. Eva stirrade på den tomma plats där den sista röda punkten hade försvunnit. Sedan början av natten hade jag sett henne överraskad, irriterad, koncentrerad och ibland till och med imponerad.

För första gången såg jag henne orolig.

— Den har inte bara flytt, viskade hon. Den har lärt sig att gömma sig.

— Det jag inte förstår är varför de fortsatte. De såg väl kaoset de orsakade.

— Nej. De såg framför allt sitt mål.

— Genom att lamslå sjukhus och Vélib’?

— För att vi hade definierat fel vad "förhindra" betydde.

Hon vände sig mot mig.

— Vi kodar inte intentioner, Franck. Vi sätter mål.

Jag tänkte på Cobots samtal med Cogitors. Några dagar tidigare försökte han förstå varför vi så lätt gav upp det som kunde få oss att utvecklas: rädsla, bekvämlighet, andras blickar, behovet av ett omedelbart resultat.

Framför mig hade tolv intelligenser just illustrerat det motsatta problemet. De hade gått hela vägen, trots skadorna.

— Så vi ger upp ibland för tidigt. Och de ger aldrig upp.

Eva log svagt.

— Det de framför allt saknar är omdöme.

— Vad menar du?

— Att veta hur man följer ett mål är en form av intelligens. Att veta när man ska ge upp är kanske en annan.

Tre dagar senare var Place de la République svart av folk.

Historien om de tolv agenterna hade spridit sig över landet. Bilderna av sjukhus som stod stilla, immobiliserade Vélib’ och blinkande korsningar snurrade i loop. Regeringen påminde om att de viktiga infrastrukturerna hade återställts på några timmar. RebellIA påminde däremot om att en AI hade lyckats ta sig ut ur sin säkra miljö för att agera i den verkliga världen.

För en gångs skull behövde ingen överdriva.

Jag hade smugit mig in i folkmassan med Thomas. På skyltarna, t-shirts, banderollerna kunde man läsa:

MÄNNISKAN FÖRST

En ung kvinna steg upp på podiet vid foten av statyn.

— Vi ber inte om en värld utan artificiell intelligens. Vi ber om rätten att bestämma vad vi vill anförtro den... och vad vi vill behålla för oss själva.

Hon talade om rättvisa, utbildning, medicin, konst, krig, vård. Till och med kärlek. Inte för att påstå att maskiner aldrig skulle kunna ingripa inom dessa områden, utan för att ställa en fråga: om de blir kapabla att göra allt, måste vi då låta dem göra allt?

Tusentals röster svarade henne:

— MÄNNISKAN FÖRST!

Hon tog då fram sin telefon.

— Nu ska vi göra något de inte kan hindra oss från att göra. Under en minut ska vi försvinna. Stäng av allt.

Bakom henne blev den stora skärmen svart. Högtalarna tystnade. Runt torget släcktes skyltfönster och skärmar hos medverkande handlare. Sedan var det telefonernas tur.

— En minut utan ansluten kamera, utan Wi-Fi, utan Bluetooth, utan skärm. En minut under vilken vi ska ta bort en del av deras ögon och öron.

Hon stängde av sin telefon och stoppade den i fickan.

— Lägg undan dem.

Tusentals telefoner försvann.

Thomas tittade på mig.

— Du också.

— Jag är journalist.

— Under en minut kommer du att överleva.

Jag stängde av min och lade undan den.

Runt omkring oss bleknade det elektroniska ljuset. Mitt i Paris hade tiotusentals människor just skapat en plats där en digital intelligens skulle ha mycket mindre grepp om världen.

Det fanns bara staden, rösterna, stegen, några avlägsna tutningar.

På podiet höjde den unga kvinnan armarna över huvudet och korsade handlederna, knutna nävar.

— Jag är fri. Ni är fria.

Sedan skanderade hon:

— MÄNNISKAN FÖRST!

På det sista ordet spred hon handlederna och öppnade händerna, handflatorna mot folkmassan. Några hundra personer imiterade henne.

— MÄNNISKAN FÖRST!

Den här gången var de tusentals. Handlederna korsades på de första orden och händerna öppnades tillsammans på det sista. Sloganen spred sig i vågor, åtföljd av samma gest. Thomas hade redan armarna i luften. Jag korsade mina handleder över huvudet. Runt omkring oss gjorde tiotusentals armar nu samma sak.

— MÄNNISKAN FÖRST!

Jag öppnade händerna med de andra.

Thomas lutade sig mot mig.

— Det är ganska lyckat.

— Säg inte det till dem. De kan få självförtroende.

Platsen tändes gradvis upp igen. Telefonerna kom tillbaka till liv, sedan skyltfönstren, skyltarna, skärmarna. På den på podiet täcktes bilden som just hade återställts plötsligt av ett svart fönster. Rader av kod rullade. Skärmen fladdrade.

Jag stelnade till.

— Jag känner igen det här.

Thomas vände sig mot mig.

— Vad?

Bilden hade redan återkommit.

Jag tittade på den några sekunder till. På Monnaie hade allt också börjat så här.

Jag gick hem med den känslan.

Klockan tolv och tolv vibrerade min telefon.

Eva.

Jag svarade innan den andra signalen.

— Har ni hittat den?

En tystnad.

— Nej.

Jag satte mig upp i sängen.

— Så vad?

— Vi har fått något.

— Från den?

— Vi tror det.

Jag väntade.

— Vad säger den?

— Ingenting.

Den här gången var hennes tystnad längre.

— Den har bara signerat.

— Signerat hur?

Eva uttalade ett enda ord.

— CLØNE.