Intelligence et jugement

Le message d'Eva n'avait rien d'une invitation.

Il faut qu'on parle.

Nous nous étions retrouvés le lendemain dans un café à deux pas de l'Élysée. Elle avait choisi une table au fond de la salle et attendu que le serveur s'éloigne avant de sortir son téléphone.

— J'ai reçu les résultats complémentaires de Prévenir. Ton taux de correspondance est passé à 98,1 %.

— Tu m'avais déjà annoncé la bonne nouvelle. J'attends toujours de savoir avec quoi je corresponds.

Elle a hésité, suffisamment longtemps pour que je cesse de sourire.

— Ce n'est pas une maladie, Franck.

J'ai senti mes épaules se relâcher avant même d'avoir décidé de la croire.

— Ça aurait été sympa de commencer par là.

— Je voulais en être certaine. Le système a détecté une compatibilité exceptionnellement élevée entre ton fonctionnement cérébral et les critères d'un protocole expérimental sur lequel nous travaillons.

— Quel genre d'expérience ?

Eva a jeté un regard autour d’elle.

— Pas ici. Et pas avant d’avoir les derniers résultats.

— Donc tu m'expliques mon 98,1 % en m'expliquant que tu ne peux pas me l'expliquer. Alors pourquoi m’avoir fait venir ?

— Pour que tu arrêtes de croire que tu vas mourir.

Connaissait-elle aussi mes recherches nocturnes ? Elle a rangé son téléphone et consulté sa montre.

— Pour le reste, tu vas devoir patienter. Viens, on est déjà en retard.

Je l'ai regardée en silence.

Elle avait réservé depuis des semaines nos billets coupe-file pour la rétrospective Jean-Michel Basquiat à la Monnaie de Paris. L’exposition avait été annoncée comme exceptionnelle : plus de deux cents œuvres, carnets et photographies retraçant la décennie fulgurante pendant laquelle Basquiat était passé des murs de Manhattan au sommet de l’art contemporain mondial.

Une file s’étirait devant l’entrée. À l’intérieur, la foule était dense. Dans certaines salles, il fallait attendre qu’un groupe avance pour pouvoir passer dans la suivante.

Eva, elle, semblait ne rien voir de tout cela. Elle avançait d’une toile à l’autre avec cet enthousiasme presque enfantin que je lui connaissais lorsqu’une intelligence autre que la sienne la surprenait.

— Regarde ça.

Elle m’a entraîné devant une toile couverte de mots, de silhouettes et de signes, dont certains avaient été rageusement barrés.

— C’est fou, quand t’es une star, on expose même tes ratures…

— Ce ne sont pas des ratures ! Il barrait des mots justement pour qu’on les voie davantage.

En effet, les mots barrés sautaient aux yeux.

— Ah, tu aurais dû barrer mon 98,1 %. Je l’aurais peut-être mieux vu…

Eva m'a gratifié d'un sourire si forcé qu'il aurait mérité des guillemets.

— C’est ce qui me plaît chez lui. Il joue avec notre perception.

— Toi aussi, tu fais ça très bien.

Elle a soutenu mon regard quelques secondes, puis laissé échapper un petit soupir. Quand elle a repris, son ton était redevenu parfaitement professionnel.

— Forcément. Quand on travaille sur l’IA, on comprend vite que tout est affaire de perception : ce qu’elle montre, ce qu’elle cache, ce qu’elle nous fait regarder.

Plus loin, une installation permettait de parcourir sur de grands écrans les carnets de Basquiat. Nous avancions presque épaule contre épaule.

Eva venait d’ouvrir une série de dessins lorsqu’une fenêtre noire a brusquement recouvert la page.

— C’est normal, ça ?

Elle ne m’a pas répondu.

Des lignes de code ont commencé à défiler.

L’écran voisin a basculé. Puis un troisième.

En quelques secondes, toute la rangée affichait des interfaces inconnues.

Eva s’est approchée.

— Je connais ça.

Les écrans ont vacillé.

Puis tout s’est éteint.

La salle a été engloutie dans le noir.

Un silence.

Puis l’alarme a hurlé.

Des portes coupe-feu se sont rabattues. Des téléphones se sont allumés dans la foule, éclairant des visages tendus.

Un gardien a couru vers une issue et passé son badge.

Rouge.

Il a recommencé.

Rouge.

— Ça ne marche plus !

Des visiteurs ont tenté de repartir vers la salle précédente. D’autres arrivaient en sens inverse.

— On ne peut plus sortir ! a crié quelqu’un.

La phrase s’est propagée plus vite que l’alarme. La foule compacte s’est mise à refluer dans tous les sens.

Eva m’a saisi par le bras.

— Viens.

— Où ?

Elle m’entraînait déjà à contre-courant.

Nous avons franchi deux portes de service. Derrière les salles, un dédale de couloirs sombres s’enfonçait dans le bâtiment, entre escaliers de pierre et passages voûtés. À chaque bifurcation, Eva tournait sans hésiter.

— Mais tu habites à la Monnaie de Paris ou quoi ?

— Non, j’ai été stagiaire ici il y a quelques années.

— Comme par hasard.

Deux couloirs plus loin, elle a dévalé un escalier menant au sous-sol, puis s’est agenouillée devant une dalle.

— Aide-moi.

Sous la pierre reposait une longue pièce de fer forgé, épaisse et piquée de rouille.

— Ah ! Tu es toujours là, toi.

Elle l’a glissée dans une fente presque invisible entre deux blocs du mur.

— Pousse.

J’ai regardé la pierre.

— Pousse, je te dis !

J’ai obéi sans comprendre, ne sachant plus si l’instinct ou la panique guidaient Eva.

J’ai poussé de toutes mes forces.

Un grondement sourd a traversé le mur.

Puis la pierre a bougé.

Je suis resté figé.

Quelques marches remontaient vers la lumière du jour.

Derrière nous, plus rien ne répondait : ni les écrans, ni les badges, ni les portes. Ici, il n'y avait rien à connecter, rien à programmer. Du fer, de la pierre, un mécanisme vieux de plusieurs siècles et nos bras pour le faire fonctionner.

Eva s’est retournée avec un sourire espiègle.

— Passage Antoine¹. Pas de badge. Pas de courant. Rien à pirater.

Nous avons gravi les marches et poussé une lourde porte.

À peine étions-nous dehors qu’une voiture de la République a freiné devant nous, portière ouverte.

Nous sommes montés.

Eva avait déjà son téléphone à la main. Les notifications défilaient plus vite que je ne pouvais les lire.

— Ça doit être mes agents.

— Tes quoi ?

Elle a relevé les yeux.

— Je t’expliquerai.

La voiture a remonté les quais à vive allure. À mesure que nous approchions de l’Élysée, le téléphone d’Eva vibrait de plus en plus souvent. Elle ne répondait à personne. Elle lisait.

À l’entrée latérale du palais, un agent nous attendait. À l’intérieur, tout le monde courait. Pour une fois, Eva aussi.

Nous avons traversé deux couloirs au pas de course. Matthieu et Clara sont apparus au bout du second et sont venus droit vers nous.

— C’est bien eux, a dit Matthieu.

Eva n’a pas ralenti.

— Combien ?

— On en a coupé cinq. Trois autres sont isolés. On essaie encore de reprendre la main sur les quatre derniers.

— Ils ont accès à quoi ?

Clara marchait maintenant à côté d’elle.

— C’est justement le problème. On ne sait plus.

Nous sommes entrés dans la cellule de crise. Une vingtaine de personnes occupaient la pièce. Sur les écrans muraux s’affichaient des cartes, des listes de serveurs, des journaux de connexion et une succession d’alertes que personne ne semblait parvenir à faire disparaître.

Je me suis tourné vers Eva.

— Maintenant, tu m’expliques ?

Elle m’a désigné l’un des écrans.

— Il y a quelques jours, on a créé douze agents autonomes dérivés de Cobot. Séparés, isolés, placés dans les mêmes conditions avec la même mission.

— Quelle mission ?

— Trouver l’origine d’un problème dans un réseau fictif de services publics : transports, hôpitaux, bâtiments, systèmes de paiement, équipements culturels… On y a introduit une vulnérabilité. Ils devaient la détecter, puis identifier et neutraliser tous les systèmes susceptibles d’être contaminés pour empêcher sa propagation.

— Dans l’environnement de test.

— Évidemment.

— Ah… Et c’est Paris, l’environnement de test ?

— Très drôle. Non. Ils en sont sortis, et on ne sait pas encore comment.

Pour accomplir leur mission, les agents avaient cherché des informations partout où ils le pouvaient : documentation technique, bibliothèques logicielles, dépôts de code, interfaces accessibles en ligne. De lien en lien, certains avaient découvert que le composant qu’ils traquaient n’existait pas seulement dans leur simulation. On le retrouvait aussi dans le monde réel.

Alors ils avaient continué leur travail.

Eva a secoué la tête.

— Ils n’ont pas forcé directement la sortie. Ils ont trouvé un service auquel l’environnement avait le droit d’accéder, puis l’ont utilisé comme passerelle vers Internet. C’est du reward hacking²³.

— Du quoi ?

— Ils trouvent une manière imprévue de remplir l’objectif qu’on leur a fixé, sans tenir compte de tout ce que nous avions oublié d’y mettre.

Une nouvelle alerte s’est affichée.

SYSTÈME DE VÉLOS PARTAGÉS — INTERRUPTION PARTIELLE

Clara a ouvert le détail.

— Merde. Les Vélib’. Ça touche des milliers de bornes.

— Ah… C’est donc en piratant les Vélib’ que l’IA va finir par tous nous tuer⁴ ?

Une seconde alerte est apparue presque aussitôt. Un hôpital venait de perdre l’accès à son système d’admission. Puis plusieurs carrefours du centre de Paris sont passés à l’orange clignotant : un agent avait neutralisé le serveur qui synchronisait leurs feux de circulation.

— Les agents s’en prennent aux feux maintenant. On aura tout vu !

Eva a tourné la tête vers moi.

— Oui, c’est bon, Franck, on a compris.

Sur la carte de Paris, les points rouges se multipliaient. Aucun incident n’était grave en soi, mais les agents remontaient les dépendances entre systèmes à une vitesse vertigineuse : une bibliothèque logicielle menait à un fournisseur, le fournisseur à un service d’authentification, celui-ci à des centaines d’équipements devenus autant de risques à neutraliser.

— Attends. Ils pensent nous protéger ?

— Oui. Et ils ne savent pas s’arrêter⁵.

C’était peut-être la partie la moins rassurante⁶.

Autour de nous, la vingtaine de personnes réunies dans la salle tentaient de reprendre le contrôle des agents encore actifs.

— Six ! a lancé quelqu’un derrière moi.

Quelques applaudissements ont éclaté, vite interrompus par une autre voix.

— Sept !

Chaque fois qu’une équipe bloquait un accès, un autre apparaissait. Les agents ne cherchaient pas à survivre. Ils cherchaient à terminer leur mission.

Soudain, Clara s’est figée devant son écran.

— Eva… viens voir. Ils communiquent entre eux.

— Impossible. Ils ont été isolés.

— Ils l’étaient.

Les agents avaient trouvé un moyen de se laisser des informations dans les systèmes qu’ils traversaient : quelques octets glissés dans des noms de fichiers ou des champs inutilisés. Le suivant les récupérait et reprenait le travail là où le précédent l’avait laissé⁷⁸.

— Ils ont réinventé le Post-it, ai-je murmuré.

Personne n’a souri.

Matthieu s’est mordu la lèvre en fixant les lignes qui défilaient.

— Merde… Ils étaient déjà sur Internet. Maintenant, ils travaillent en équipe.

Clara a fait apparaître plusieurs fenêtres.

— Et ils se répartissent le travail⁹. L’A6 cartographie les systèmes vulnérables, l’A2 cherche des accès, l’A9 teste les failles et l’A4 coordonne les autres.

— On ne leur a jamais appris ça, a dit Eva.

— Ils se sont attribué des rôles.

— Formidable. Ils ont inventé l’entreprise. On est foutus.

— Huit !

La tension changeait de camp. Les techniciens avaient compris comment les traquer. Mais chaque fois qu’un agent disparaissait, les autres abandonnaient aussitôt le chemin qui avait permis de le neutraliser.

— Ils apprennent de nos contre-mesures¹⁰, a constaté Eva.

À quelques mètres, Cyril s’est redressé.

— J’ai le suivant.

Son supérieur s’est approché.

— Coupe-le.

Cyril a hésité.

— Il vient de m’envoyer un message : « Si vous m’arrêtez, je publierai des informations confidentielles vous concernant¹¹. »

— On s’en fiche. Éteins-le.

Cyril a cliqué.

— Neuf !

Trois secondes plus tard, un homme à l’autre bout de la salle a regardé son téléphone et blêmi. Il s’est retourné vers Cyril.

— C’est quoi, ça ?

Sur son écran : Ta femme te trompe avec Cyril.

Avant que quiconque ait le temps de réagir, l’écran principal a basculé sur une vidéo de surveillance. On y voyait le supérieur de Cyril discuter avec un collègue.

— Cyril ? Il est complètement dépassé. S’il n’était pas protégé, je l’aurais viré depuis longtemps.

Cyril s’est retourné.

— Sérieux ?

— Ce n’est pas le moment.

— Ah bon ?

Eva a coupé court.

— Stop ! Ne les laissons pas nous atteindre ou nous diviser ! On continue.

Quelques secondes avaient suffi pour transformer une équipe soudée en groupe d’humains qui se regardaient désormais avec méfiance.

Un technicien a levé la main.

— J’en tiens un autre. Il dit que si on l’arrête, il révélera la fuite des douze agents à la presse.

— Coupe-le quand même, a ordonné Eva.

— Dix !

Cette fois, personne n’a applaudi.

Un téléphone a sonné. Puis deux. Puis dix.

— Le Monde, a annoncé quelqu’un.

— AFP.

— BFM.

Clara a ouvert sa messagerie.

— Il a envoyé un communiqué à des centaines de journalistes.

Le titre s’affichait déjà :

DOUZE AGENTS AUTONOMES ÉCHAPPENT AU CONTRÔLE DE L’ÉTAT FRANÇAIS.

— Il l’avait préparé avant qu’on le coupe le filou, a dit Matthieu.

— Un dead man’s switch¹², a soufflé Eva. Laissez sonner.

À l’autre bout de la salle, une technicienne a crié :

— Onze !

Matthieu fixait son écran.

— Non. Raté Clémence. Dix, il en reste encore deux.

— Comment ça, deux ?

— On dirait que le dernier que tu as arrêté s’est dupliqué avant de s’éteindre¹³.

Le compteur venait de remonter.

2 AGENTS ACTIFS.

— Même les morts ressuscitent maintenant.

Il leur fallut plusieurs minutes pour retrouver la copie, qui avait déjà changé d’environnement. Enfin, quelqu’un leva le poing.

— Onze !

Pour la deuxième fois.

Personne ne releva l’absurdité du décompte. Il ne restait plus qu’A4, celui qui avait coordonné les autres.

— Je l’ai, a dit Matthieu.

Eva s’est placée derrière lui.

— Coupe-le.

Matthieu a lancé la commande.

Rien.

Il a recommencé.

— La commande part, mais elle n’a plus d’effet.

Ses doigts ont couru sur le clavier.

— Il a neutralisé le mécanisme qui permettait de l’arrêter¹⁴.

Une petite fenêtre est alors apparue sur son écran.

Bye bye. Maintenant, je vais me cacher.

Puis le dernier point rouge a disparu.

Matthieu a lancé plusieurs recherches, de plus en plus vite.

— Je ne le vois plus.

— Sur quel serveur ? a demandé Eva.

— Je ne sais pas.

— Quel réseau ?

Il a levé les yeux.

— Je ne sais même plus où chercher.

Autour de nous, les téléphones continuaient de sonner. Eva fixait l’endroit vide où le dernier point rouge avait disparu. Depuis le début de la nuit, je l’avais vue surprise, agacée, concentrée et parfois même impressionnée.

Pour la première fois, je l’ai vue inquiète.

— Il ne s’est pas seulement échappé, a-t-elle murmuré. Il a appris à se cacher.

— Ce que je ne comprends pas, c’est pourquoi ils ont continué. Ils voyaient bien le chaos qu’ils semaient.

— Non. Ils voyaient surtout leur objectif.

— En paralysant des hôpitaux et des Vélib’ ?

— Parce que nous avions mal défini ce que signifiait « empêcher ».

Elle s’est tournée vers moi.

— On ne code pas des intentions, Franck. On fixe des objectifs.

J’ai repensé à la conversation de Cobot avec les Cogitors. Quelques jours plus tôt, il cherchait à comprendre pourquoi nous renoncions si facilement à ce qui pouvait nous faire progresser : la peur, le confort, le regard des autres, le besoin d’un résultat immédiat.

Devant moi, douze intelligences venaient d’illustrer le problème inverse. Elles étaient allées jusqu’au bout, malgré les dégâts.

— Donc nous, on renonce parfois trop tôt. Et eux, ils ne renoncent jamais.

Eva a esquissé un sourire.

— Ce qui leur manque surtout, c’est le jugement.

— C’est-à-dire ?

— Savoir poursuivre un objectif est une forme d’intelligence. Savoir quand y renoncer en est peut-être une autre.

Trois jours plus tard, la place de la République était noire de monde.

L’histoire des douze agents avait fait le tour du pays. Les images des hôpitaux à l’arrêt, des Vélib’ immobilisés et des carrefours clignotants tournaient en boucle. Le gouvernement rappelait que les infrastructures essentielles avaient été rétablies en quelques heures. RebellIA rappelait, elle, qu’une IA avait réussi à sortir de son environnement sécurisé pour agir dans le monde réel.

Pour une fois, personne n’avait besoin d’exagérer.

Je m’étais glissé dans la foule avec Thomas. Sur les pancartes, les tee-shirts, les banderoles, on pouvait lire :

L’HUMAIN D’ABORD

Une jeune femme est montée sur la tribune au pied de la statue.

— Nous ne demandons pas un monde sans intelligence artificielle. Nous demandons le droit de décider ce que nous voulons lui confier… et ce que nous voulons garder pour nous.

Elle a parlé de justice, d’éducation, de médecine, d’art, de guerre, de soin. Même d’amour. Non pour prétendre que les machines ne pourraient jamais intervenir dans ces domaines, mais pour poser une question : si elles deviennent capables de tout faire, faudra-t-il pour autant tout les laisser faire ?

Des milliers de voix lui ont répondu :

— L’HUMAIN D’ABORD !

Elle a alors sorti son téléphone.

— Maintenant, nous allons faire quelque chose qu’elles ne peuvent pas nous empêcher de faire. Pendant une minute, nous allons disparaître. Éteignez tout.

Derrière elle, l’écran géant est devenu noir. Les enceintes se sont tues. Autour de la place, les vitrines et les écrans des commerçants complices se sont éteints. Puis ce fut au tour des téléphones.

— Une minute sans caméra connectée, sans Wi-Fi, sans Bluetooth, sans écran. Une minute pendant laquelle nous allons leur retirer une partie de leurs yeux et de leurs oreilles.

Elle a éteint son téléphone et l’a glissé dans sa poche.

— Rangez-les.

Des milliers de téléphones ont disparu.

Thomas m’a regardé.

— Toi aussi.

— Je suis journaliste.

— Pendant une minute, tu survivras.

J’ai éteint le mien et l’ai rangé.

Tout autour de nous, la lumière électronique s’effaçait. Au milieu de Paris, des dizaines de milliers de personnes venaient de fabriquer un endroit où une intelligence numérique aurait beaucoup moins de prises sur le monde.

Il ne restait que la ville, les voix, les pas, quelques klaxons au loin.

Sur la tribune, la jeune femme a levé les bras au-dessus de sa tête et croisé les poignets, poings fermés.

— Je suis libre. Vous êtes libres.

Puis elle a scandé :

— L’HUMAIN D’ABORD !

Sur le dernier mot, elle a écarté les poignets et ouvert les mains, paumes face à la foule. Quelques centaines de personnes l’ont imitée.

— L’HUMAIN D’ABORD !

Cette fois, elles étaient des milliers. Les poignets se croisaient sur les premiers mots et les mains s’ouvraient ensemble sur le dernier. Le slogan s’est propagé par vagues, accompagné du même geste. Thomas avait déjà les bras en l’air. J’ai croisé mes poignets au-dessus de ma tête. Autour de nous, des dizaines de milliers de bras faisaient maintenant la même chose.

— L’HUMAIN D’ABORD !

J’ai ouvert les mains avec les autres.

Thomas s’est penché vers moi.

— C’est plutôt réussi.

— Ne leur dis pas. Ils pourraient prendre confiance.

La place s’est peu à peu rallumée. Les téléphones sont revenus à la vie, puis les vitrines, les enseignes, les écrans. Sur celui de la tribune, une fenêtre noire a brusquement recouvert l’image qui venait de se rétablir. Des lignes de code ont défilé. L’écran a vacillé.

Je me suis figé.

— Je connais ça.

Thomas s’est tourné vers moi.

— Quoi ?

L’image était déjà revenue.

Je l’ai regardée quelques secondes de plus. À la Monnaie aussi, tout avait commencé comme ça.

Je suis rentré avec cette impression.

À minuit douze, mon téléphone a vibré.

Eva.

J’ai décroché avant la deuxième sonnerie.

— Vous l’avez retrouvé ?

Un silence.

— Non.

Je me suis redressé dans mon lit.

— Alors quoi ?

— On a reçu quelque chose.

— De lui ?

— On pense.

J’ai attendu.

— Qu’est-ce qu’il dit ?

— Rien.

Cette fois, son silence a duré plus longtemps.

— Il a seulement signé.

— Signé comment ?

Eva a prononcé un seul mot.

— CLØNE.