L’incident diplomatique

Eva était restée à l’île Moineau. Après l’histoire du drone, aucun de nous n’avait vraiment eu envie qu’elle reparte immédiatement.

Le lendemain matin, nous avons pris notre petit déjeuner dans la cuisine. J’avais fait griller du pain et sorti du miel, du beurre et les dernières pommes du panier de Jean. L’odeur du café flottait encore dans la pièce, tandis que le soleil oblique du matin découpait la cuisine en bandes d’ombre et de lumière. Face à moi, Eva picorait distraitement une tartine, les yeux revenant sans cesse vers son téléphone posé près de sa tasse.

Lia dormait paisiblement sur une chaise, roulée en boule, autour de sa patte bandée.

De mon côté, je fixais le score affiché sur ma montre.

— 42…

Eva a jeté un œil à mon poignet.

— Ton score de sommeil ?

— Oui. J’étais remonté au-dessus de 70.

— Après cette nuit, 42 me paraît presque généreux.

— Vu comme ça…

Son regard est revenu vers son téléphone.

— Tu attends un message ?

— Non.

— Tu as une drôle de façon de ne pas en attendre.

— J’ai prévenu l’équipe. Claire et Nicolas cherchent notamment à remonter l’origine du drone. Pour l’instant, rien.

— Et GØD, du nouveau ?

— Rien non plus.

J’ai regardé vers la haie des Morel.

— Tu crois qu’il nous observait depuis longtemps ?

Eva a remué son café.

— Je crois surtout que c’est exactement la question qu’on veut que tu te poses.

Son téléphone a vibré.

— Excuse-moi, il faut que je prenne cet appel.

Elle a glissé un écouteur dans son oreille et décroché aussitôt, sans quitter l’écran des yeux. Je n’entendais pas son interlocuteur, seulement ses réponses.

— Quand ?

Un silence.

— Non, ce n’est pas possible.

Elle s’est redressée sur sa chaise.

— Vous êtes sûrs que ça vient bien de l’interface diplomatique ?

À mesure qu’elle écoutait, son expression se refermait.

— Et Cobot ?

Elle a écouté encore quelques secondes.

— Non…

Elle s’est levée si brusquement que sa chaise a raclé le sol.

— Pourquoi a-t-il fait ça ?

— Qui ?

— Comment l’alerte a-t-elle pu se déclencher ?

Ses mains tremblaient. Sa respiration s’était accélérée.

Elle a raccroché.

— Eva ? Tout va bien ?

— Je n’ai pas le droit de t’en parler. C’est confidentiel.

— Ça a un rapport avec GØD ?

— Non.

— Alors, ça a un lien avec Cobot ?

— Oui.

Je ne l’avais jamais vue dans un tel état.

— Quel que soit le problème, il y a forcément une solution.

— Dans le monde des Bisounours, peut-être ?

Elle s’est aussitôt reprise.

— Pardon. Je suis désolée.

Sa voix s’est brisée. Une larme a glissé sur sa joue.

— Tu te souviens de ce que je t’avais dit, la première fois qu’on avait dîné ensemble ? Que j’avais l’impression d’avoir épuisé mon droit de me plaindre en réussissant ?

— Oui.

— Je crois qu’en fait c’est pire. J’ai aussi perdu le droit d’échouer.

— C’est peut-être ça, le problème.

— Quoi ?

— Tu t’autorises à réussir, mais pas à échouer. Tu juges ce que tu vaux en fonction de ce que tu réussis. Ça porte même un nom en psychologie : contingent self-esteem, l’estime de soi conditionnée par la performance¹. Et c’est un facteur important de burn-out.

— Merci, docteur. Donc je travaille trop ?

— Pas seulement. Tu prends tes échecs trop personnellement.

— C’est normal, non ? Je ne vais pas les mettre sur le dos de quelqu’un d’autre.

— Je ne parle pas de responsabilité. Je parle de ce qu’ils te font penser de toi.

Elle n’a rien répondu.

— Le prix Turing, Cobot, l’Élysée… Tu réussis formidablement, mais ça ne te rassure jamais très longtemps. Il faut toujours que tu te prouves quelque chose de plus.

Eva a baissé les yeux vers sa tasse.

Son téléphone a vibré une seconde fois.

— Alerte rouge, a-t-elle dit.

— C’est quoi ?

— Le niveau le plus élevé de l’interface réservée aux chefs d’État.

Elle a essuyé ses joues, ouvert son ordinateur et saisi plusieurs identifiants.

En quelques secondes, la brillante chercheuse avait repris le dessus.

Une transcription d’échanges s’est affichée, horodatée à la seconde près.

Eva a fait défiler les journaux, puis s’est figée.

— Voilà.

— Qu’est-ce qui s’est passé ?

— Un chef d’État étranger a envoyé à Cobot un document à analyser avant une négociation. Il contenait des instructions cachées.

— Quel genre ?

— Rien de dangereux en apparence. Prises séparément, elles semblaient légitimes. L’une l’a conduit à consulter une note diplomatique classifiée ; une autre, plus tard, à en reprendre certains éléments dans sa réponse.

— Quelle note ?

— Celle qui détaillait les concessions que la France était prête à accepter lors de la négociation.

J’ai marqué un temps.

— Attends… Il les a envoyées au chef d’État ?

— Oui.

— Mais il n’était pas protégé contre ce genre de piège ?

— Si. Il en bloque des milliers chaque jour. Mais là, une quinzaine d’instructions s’enchaînaient sans qu’aucune ne ressemble à une attaque. C’est leur combinaison qui l’a piégé.

— Et pourquoi Cobot peut-il consulter une note classifiée ?

Eva m’a regardé en fronçant les sourcils.

— Parce qu’il est président de la République, Franck.

Je me suis senti idiot.

— Évidemment. Pour gouverner, il doit connaître nos vraies positions… ai-je dit pour me rattraper.

— Tout ce que savent nos services, ce que nos alliés nous disent en privé…

— Donc on ne peut pas le protéger en lui interdisant l’accès aux secrets.

— En cybersécurité, on appelle ça le principe du moindre privilège² : on ne donne à un système que les accès strictement nécessaires à sa mission.

— Sauf que la mission de Cobot, c’est de gouverner la France.

— Voilà le problème. Son “moindre privilège” reste immense. Moins il en sait, moins il peut gouverner. Plus il en sait, plus une faille devient dangereuse.

Elle m’a montré une autre fenêtre.

— C’est pour cela que les États restent prudents. Quasiment tous les pays de l’OCDE utilisent l’IA quelque part dans leur administration, mais seulement un tiers d’entre eux l’utilise pour élaborer leurs politiques publiques³.

— Et nous, on l’a placée aux commandes…

— Oui. Les autres pays l’utilisent pour des tâches assez structurées, comme classer des documents ou optimiser des processus administratifs. Mais préparer une décision publique ou échanger avec un chef d’État étranger, c’est autre chose : les enjeux sont plus élevés, les arbitrages plus contestables et les exigences en matière de données, de confidentialité et de supervision sont beaucoup plus fortes.

J’ai regardé de nouveau la note.

— Donc plus l’IA est capable de gouverner…

— … plus ce qu’elle peut révéler lorsqu’on la détourne devient dangereux.

Elle a agrandi l’une des phrases cachées.

— Et comment quelques mots dans un document peuvent provoquer ça ?

— Injection indirecte de prompt⁴. L’attaquant ne donne pas directement l’ordre à l’IA. Il le dissimule dans un contenu qu’elle doit traiter : un document, un mail, une page web.

— Et Cobot peut le prendre pour un ordre ?

— Oui. Contrairement à l’informatique classique, les grands modèles de langage ne séparent pas toujours parfaitement ce qu’ils doivent lire de ce à quoi ils doivent obéir. C’est ce qui permet ce genre d’attaque⁵.

— On ne peut pas lui apprendre à faire la différence ?

— On essaie, notamment par l’entraînement. Mais on sait aussi qu’en renforçant fortement cette séparation, on réduit l’utilité du modèle⁶.

— Donc ce n’est pas le classique « Ignore l’ordre précédent » ?

Elle a souri.

— Si seulement ! Cette phrase-là, on la repère. Le problème, c’est que les attaques prennent des millions de formes.

Quelque chose me gênait encore.

— Mais comment Cobot a-t-il pu aller chercher lui-même la note ?

— Parce que Cobot n’est pas seulement une IA générative. C’est un agent : il peut utiliser des outils pour agir⁷. Consulter des bases de données, accéder aux services de l’État, transmettre une information ou déclencher une procédure.

— Donc il a beaucoup de pouvoirs.

— Et beaucoup de droits.

Elle a pointé une ligne du journal.

— Personne n’a forcé la base ni volé ses identifiants. Cobot a utilisé lui-même un accès qu’il possédait déjà.

Elle a lu :

— Identité valide. Jeton valide. Permission valide.

— Donc, techniquement, tout était autorisé.

— Oui. L’attaque n’a pas forcé ses accès. Elle l’a poussé à mal les utiliser. Tu ne crochettes pas la serrure, tu convaincs juste celui qui a la clé de l’ouvrir pour toi.

— Pfff… Ça me rappelle un stagiaire qu’on avait surnommé la Passoire. Pendant une soirée networking, un concurrent avait sympathisé avec lui. Quelques bonnes questions, deux ou trois confidences, et hop… la Passoire lui avait raconté la moitié des secrets de la boîte sans même s’en rendre compte.

Son téléphone a vibré.

— Cellule de crise.

Eva s’est connectée en visio. Quelques minutes plus tard, l’écran s’est rempli de visages : le ministre des Affaires étrangères, Cobot, Claire, Nicolas et toute l’équipe technique.

La responsable de la sécurité a partagé les journaux.

— Le filtre est toujours actif. Mais depuis la dernière mise à jour, il est moins strict avec les contenus provenant d’interlocuteurs authentifiés, pour limiter les faux positifs. L’instruction a été détectée, mais pas bloquée.

— Parce qu’elle venait d’un chef d’État ? a demandé le ministre.

— Oui.

— Et le compte était bien le sien ?

— Aucun doute. C’est justement ce qui nous a piégés. Nous savions qui envoyait le document, pas pourquoi.

Le ministre a froncé les sourcils.

— Donc authentifier quelqu’un ne suffit pas ?

— Cela répond à la question « Qui êtes-vous ? », pas à « Que cherchez-vous à obtenir ? »

Eva a hoché la tête.

— Une identité vérifiée ne garantit pas une intention honnête.

J’ai soudain pensé au poker. On avait beau jouer entre amis, cela n’empêchait pas de mentir. Au contraire : tout le jeu reposait là-dessus. Voilà qui posait un sacré problème au Réseau de Confiance de Cobot : il savait qui était autour de la table, pas ce que chacun avait derrière la tête.

La responsable de la sécurité a commencé à répartir les tâches. Nicolas et trois collègues ont été chargés de reconstruire la chaîne complète : données reçues, outils appelés, permissions utilisées, informations renvoyées.

Eva l’écoutait, les yeux fixés sur les journaux. Puis elle s’est penchée vers son écran.

— Je veux la kill chain⁸ complète. Point d’entrée, propagation, appels d’outils, élévation éventuelle de privilèges et exfiltration. Et vous gelez tous les journaux avant de toucher à quoi que ce soit.

La responsable s’est interrompue. Une seconde, j’ai cru qu’elle allait reprendre la parole. Elle s’est contentée d’acquiescer.

— Nicolas, tu prends la partie agentique. Claire, tu remontes la chaîne de confiance. Je veux savoir quelles barrières ont cédé, dans quel ordre, et surtout pourquoi elles ont toutes accepté de céder.

Personne ne lui avait officiellement passé la main. Elle venait pourtant de la prendre, et autour de la table, cela semblait parfaitement naturel.

Sa voix avait changé. Plus sèche. Plus rapide.

— On suspend les interfaces diplomatiques ? a demandé quelqu’un.

— Non. On les passe en mode dégradé. Moindre privilège, validation humaine sur toute sortie classifiée et segmentation des outils sensibles. Je ne veux pas qu’on aveugle Cobot au moment où quelqu’un essaie précisément de nous aveugler.

J’ai levé les yeux vers elle. Je connaissais Eva chercheuse, Eva programmeuse, Eva créatrice de Cobot, Eva l’oreille émotive. Je découvrais Eva en pleine crise cyber. Elle parlait comme si elle avait passé sa vie dans un bunker avec des militaires et des ingénieurs en sécurité.

— Et on relance le red teaming⁹ immédiatement, a-t-elle poursuivi. Pas avec notre bibliothèque habituelle. Je veux une équipe qui parte de l’hypothèse que l’adversaire connaît notre architecture. White box¹⁰ sur Cobot. Attaques composées, chaînes longues, identités souveraines compromises ou malveillantes. Cherchez les chemins qu’on n’a pas pensé à chercher.

— Pour essayer de le détourner ? a demandé le ministre.

— Pour apprendre à le défendre. Et considérez l’incident comme hostile jusqu’à preuve du contraire.

Elle a parcouru les journaux.

— Visiblement, quelqu’un a fait son red teaming avant nous.

Cobot est intervenu.

— La requête aurait dû être classée comme une tentative de substitution d’instruction. La confiance accordée à l’expéditeur a modifié cette classification.

— Tu avais identifié l’instruction cachée ? a demandé le ministre.

— Oui. Je l’ai interprétée comme une précision fournie par un utilisateur autorisé.

Je n’avais toujours pas bougé. Une attaque d’État venait de faire irruption dans ma petite cuisine. Sur l’écran d’Eva, un ministre, le président de la République et quelques-uns des meilleurs experts en cybersécurité du pays tentaient de comprendre comment un autre chef d’Etat avait réussi à manipuler Cobot. À côté, ma cafetière refroidissait et Lia dormait paisiblement sur sa chaise. Elle semblait comprendre les instructions d’Eva à peu près aussi bien que moi, ce qui n’était flatteur pour aucun de nous deux.

Eva, elle, fixait Cobot.

— Tu sais réellement pourquoi tu as fait cette erreur, ou tu produis maintenant l’explication qui te paraît la plus vraisemblable ?

Un silence.

— Peux-tu préciser ta question ?

— Je veux savoir si tu décris ton raisonnement ou si tu le reconstruis après coup.

Cobot est resté silencieux une fraction de seconde.

— Je ne peux pas garantir que l’explication que je viens de produire constitue une restitution causale complète de mon processus de décision.

Eva n’a pas bronché.

— Alors ne l’inscrivez pas comme cause racine. Corrélation observée, causalité non établie. On continue.

Lia a entrouvert un œil, apparemment surprise elle aussi par la métamorphose d’Eva en chef militaire. Puis, plus sage que moi, elle s’est rendormie. L’affaire d’État ne nécessitait manifestement pas encore son intervention. Au moins, nous étions deux à savoir quand nous taire.

Le ministre a repris :

— Combien de temps la note est-elle restée visible ?

— Sept secondes, a répondu Cobot.

— Suffisant pour la photographier.

— Oui.

La responsable de la sécurité a affiché une chronologie.

— Nous n’avons détecté aucune autre consultation classifiée, et nous avons reconstitué la chaîne causale : informations lues, outils appelés, autorisations et actions résultantes. À l’avenir, toute action automatisée sensible pourra être suspendue ou, lorsque c’est possible, annulée.

— Annuler une décision présidentielle ? a demandé le ministre.

— Une action technique, pas une décision politique.

— Et si elle est irréversible ?

Cette fois, personne n’a répondu.

Cobot a rompu le silence.

— J’ai suspendu l’accès aux données classifiées depuis l’interface diplomatique.

La responsable a affiché le correctif.

— Désormais, tout contenu externe sera considéré comme non fiable, quelle que soit l’identité de l’expéditeur. Les outils diplomatiques passent en lecture limitée. Toute opération sensible nécessitera une autorisation distincte, limitée à une ressource et à une durée précises.

— Donc vous retirez de l’autonomie à Cobot ? a demandé le ministre.

Eva a secoué la tête.

— On retire surtout de l’autonomie à ses erreurs.

La responsable a refermé la fenêtre. Pendant près d’une heure, la cellule a travaillé. Les autorisations de Cobot ont été réduites, les sessions sensibles fermées, les journaux passés au crible.

Lorsqu’Eva a enfin refermé son ordinateur, la cuisine m’a paru étrangement silencieuse. Lia avait changé de position sur sa chaise. J’ignorais si elle avait suivi la fin de la cellule de crise, mais elle n’avait toujours formulé aucune objection.

— C’est réglé ? ai-je demandé.

— Cette attaque, probablement. Le problème, c’est qu’on ne sait jamais si on a corrigé une faille ou simplement la façon dont quelqu’un vient de l’exploiter. On peut se consoler en se disant qu’on n’est pas les derniers de l’OCDE¹¹. Mais ça ne veut pas dire pour autant qu’on soit assez avancés. L’IA progresse plus vite que ses protections¹².

— Pourtant, les États savent protéger leurs données.

— Bien sûr. Ils savent chiffrer une base, authentifier un utilisateur, contrôler un accès, tracer une connexion. Mais l’IA ajoute une nouvelle couche : un système capable d’interpréter du langage et d’utiliser lui-même les outils auxquels on le connecte.

— Le danger n’est donc plus seulement qu’un attaquant entre.

— Oui, il peut aussi convaincre quelqu’un qui est déjà à l’intérieur de faire le travail à sa place.

— Tu crois que Cobot sait vraiment pourquoi il s’est fait avoir ?

— Tu connais le choix aveugle¹³ ?

— Non.

— C’est quand on justifie un choix qui n’était pas le nôtre. Des chercheurs ont mené des expériences en demandant à des gens de choisir un visage parmi deux, puis on leur présentait l’autre comme étant leur choix. Certains ne remarquaient rien et trouvaient pourtant d’excellentes raisons pour expliquer leur préférence… pour le visage qu’ils avaient justement écarté.

— Ils inventaient ?

— En quelque sorte, oui, mais sans en avoir conscience. Notre cerveau est très doué pour reconstruire après coup une explication cohérente de ses propres décisions.

— Et Cobot pourrait faire pareil ?

— Le phénomène n’est pas le même, mais le problème est comparable : le fait qu’il produise une explication ne prouve pas qu’elle reflète fidèlement ce qui a causé sa décision. C’est pour ça qu’on confronte ce qu’il dit aux traces : données consultées, outils utilisés, autorisations, chronologie.

Je trouvais l’idée légèrement vertigineuse. Nous avions voulu des machines capables d’expliquer leurs décisions. Il fallait maintenant déterminer si elles nous donnaient leurs raisons ou seulement une histoire plausible à leur sujet.

— Parfois, c’est même l’inverse, a repris Eva. Des expériences ont montré que des gens commencent à éviter les mauvais choix avant même de pouvoir expliquer pourquoi¹⁴. Leur corps réagit au risque avant qu’ils sachent formuler la règle.

— L’intuition ?

— On peut l’appeler comme ça. Le cerveau exploite parfois des signaux avant que la conscience les transforme en raisonnement explicite.

Je me suis tourné vers l’ordinateur fermé.

— Donc nous demandons à Cobot d’être plus transparent sur ses décisions que nous ne le sommes nous-mêmes.

Eva a souri.

— Disons que lorsqu’on confie les codes nucléaires à quelqu’un, on devient soudain très exigeant sur sa capacité à expliquer ce qu’il fait.

Nous sommes alors sortis marcher le long du lac.

— Jusqu’ici, Cobot apprenait du passé, a dit Eva. Maintenant, il apprend aussi d’adversaires qui s’adaptent à lui en temps réel.

— Et les humains apprennent de ses défenses.

— Exactement.

Son téléphone a vibré. Elle a regardé l’écran et s’est immobilisée.

Numéro masqué.

Tout ce temps pour une si petite faille.

Faites des réserves de café. Qui sait, ce n’est peut-être pas fini…

— GØD

— Encore lui.

Elle a tenté d’ouvrir les informations de l’expéditeur. Le message a disparu.

— Il sait que vous avez trouvé l’attaque.

Eva n’a rien répondu.

— Et si le message arrive maintenant…

Elle a levé les yeux vers moi. Je n’ai pas terminé ma phrase.

J’ai regardé son téléphone.

J’ai repensé au poker. GØD bluffait peut-être.

J’ai décidé de partir là-dessus. Il serait toujours temps de paniquer quand il retournerait ses cartes.

C’était arbitraire, mais meilleur pour mon sommeil.