El incidente diplomático

Eva se había quedado en la isla Moineau. Después de la historia del dron, ninguno de nosotros realmente quería que se fuera de inmediato.

A la mañana siguiente, desayunamos en la cocina. Había tostado pan y sacado miel, mantequilla y las últimas manzanas del cesto de Jean. El aroma del café aún flotaba en la habitación, mientras el sol matutino oblicuo dividía la cocina en franjas de sombra y luz. Frente a mí, Eva picoteaba distraídamente una tostada, con los ojos volviendo constantemente a su teléfono colocado cerca de su taza.

Lia dormía plácidamente en una silla, hecha un ovillo, alrededor de su pata vendada.

Por mi parte, miraba el marcador en mi reloj.

— 42…

Eva echó un vistazo a mi muñeca.

— ¿Tu puntuación de sueño?

— Sí. Había subido por encima de 70.

— Después de esta noche, 42 me parece casi generoso.

— Visto así…

Su mirada volvió a su teléfono.

— ¿Esperas un mensaje?

— No.

— Tienes una forma extraña de no esperarlo.

— He avisado al equipo. Claire y Nicolas están tratando de rastrear el origen del dron. Por ahora, nada.

— ¿Y GØD, alguna novedad?

— Tampoco nada.

Miré hacia el seto de los Morel.

— ¿Crees que nos observaba desde hace tiempo?

Eva removió su café.

— Creo sobre todo que es exactamente la pregunta que quieren que te hagas.

Su teléfono vibró.

— Disculpa, tengo que atender esta llamada.

Se puso un auricular en la oreja y contestó de inmediato, sin apartar la vista de la pantalla. No escuchaba a su interlocutor, solo sus respuestas.

— ¿Cuándo?

Un silencio.

— No, no es posible.

Se enderezó en su silla.

— ¿Están seguros de que proviene de la interfaz diplomática?

A medida que escuchaba, su expresión se cerraba.

— ¿Y Cobot?

Escuchó unos segundos más.

— No…

Se levantó tan bruscamente que su silla raspó el suelo.

— ¿Por qué hizo eso?

— ¿Quién?

— ¿Cómo pudo activarse la alerta?

Sus manos temblaban. Su respiración se había acelerado.

Colgó.

— Eva, ¿todo bien?

— No tengo permitido hablarte de eso. Es confidencial.

— ¿Tiene que ver con GØD?

— No.

— Entonces, ¿tiene relación con Cobot?

— Sí.

Nunca la había visto en tal estado.

— Sea cual sea el problema, debe haber una solución.

— ¿En el mundo de los ositos cariñosos, tal vez?

Se corrigió de inmediato.

— Perdón. Lo siento.

Su voz se quebró. Una lágrima resbaló por su mejilla.

— ¿Recuerdas lo que te dije la primera vez que cenamos juntos? Que sentía que había agotado mi derecho a quejarme al tener éxito.

— Sí.

— Creo que en realidad es peor. También he perdido el derecho a fracasar.

— Quizás ese sea el problema.

— ¿Qué?

— Te permites tener éxito, pero no fracasar. Juzgas tu valía en función de tus logros. Eso incluso tiene un nombre en psicología: autoestima contingente, la estima de uno mismo condicionada por el rendimiento¹. Y es un factor importante de agotamiento.

— Gracias, doctor. Entonces, ¿trabajo demasiado?

— No solo eso. Te tomas tus fracasos demasiado personalmente.

— Es normal, ¿no? No voy a echarle la culpa a alguien más.

— No hablo de responsabilidad. Hablo de lo que te hacen pensar de ti misma.

No respondió.

— El premio Turing, Cobot, el Elíseo… Tienes un éxito formidable, pero nunca te tranquiliza por mucho tiempo. Siempre necesitas probarte algo más.

Eva bajó la mirada hacia su taza.

Su teléfono vibró por segunda vez.

— Alerta roja, dijo.

— ¿Qué es eso?

— El nivel más alto de la interfaz reservada para jefes de Estado.

Se secó las mejillas, abrió su computadora y tecleó varios identificadores.

En cuestión de segundos, la brillante investigadora había retomado el control.

Una transcripción de intercambios apareció, con la hora exacta.

Eva revisó los registros, luego se detuvo.

— Ahí está.

— ¿Qué pasó?

— Un jefe de Estado extranjero envió a Cobot un documento para analizar antes de una negociación. Contenía instrucciones ocultas.

— ¿Qué tipo?

— Nada peligroso en apariencia. Tomadas por separado, parecían legítimas. Una lo llevó a consultar una nota diplomática clasificada; otra, más tarde, a incluir algunos elementos en su respuesta.

— ¿Qué nota?

— La que detallaba las concesiones que Francia estaba dispuesta a aceptar durante la negociación.

Hice una pausa.

— Espera… ¿Las envió al jefe de Estado?

— Sí.

— ¿Pero no estaba protegido contra este tipo de trampa?

— Sí. Bloquea miles cada día. Pero aquí, una quincena de instrucciones se encadenaron sin que ninguna pareciera un ataque. Fue su combinación lo que lo atrapó.

— ¿Y por qué Cobot puede consultar una nota clasificada?

Eva me miró frunciendo el ceño.

— Porque es presidente de la República, Franck.

Me sentí idiota.

— Claro. Para gobernar, debe conocer nuestras verdaderas posiciones… dije para redimirme.

— Todo lo que saben nuestros servicios, lo que nuestros aliados nos dicen en privado…

— Entonces no podemos protegerlo prohibiéndole el acceso a los secretos.

— En ciberseguridad, eso se llama el principio del menor privilegio²: solo se le da a un sistema los accesos estrictamente necesarios para su misión.

— Excepto que la misión de Cobot es gobernar Francia.

— Ahí está el problema. Su “menor privilegio” sigue siendo inmenso. Cuanto menos sabe, menos puede gobernar. Cuanto más sabe, más peligrosa se vuelve una falla.

Me mostró otra ventana.

— Por eso los Estados son cautelosos. Casi todos los países de la OCDE usan IA en alguna parte de su administración, pero solo un tercio de ellos la usa para elaborar sus políticas públicas³.

— Y nosotros la hemos puesto al mando…

— Sí. Los otros países la usan para tareas bastante estructuradas, como clasificar documentos u optimizar procesos administrativos. Pero preparar una decisión pública o intercambiar con un jefe de Estado extranjero es otra cosa: los desafíos son mayores, los arbitrajes más discutibles y las exigencias en materia de datos, confidencialidad y supervisión son mucho más altas.

Volví a mirar la nota.

— Entonces, cuanto más capaz es la IA de gobernar…

— … más peligroso se vuelve lo que puede revelar cuando se la desvía.

Amplió una de las frases ocultas.

— ¿Y cómo pueden unas pocas palabras en un documento provocar eso?

— Inyección indirecta de prompt⁴. El atacante no da directamente la orden a la IA. La oculta en un contenido que debe procesar: un documento, un correo, una página web.

— ¿Y Cobot puede tomarlo como una orden?

— Sí. A diferencia de la informática clásica, los grandes modelos de lenguaje no siempre separan perfectamente lo que deben leer de lo que deben obedecer. Eso es lo que permite este tipo de ataque⁵.

— ¿No se le puede enseñar a diferenciar?

— Lo intentamos, especialmente mediante el entrenamiento. Pero también sabemos que al reforzar fuertemente esta separación, reducimos la utilidad del modelo⁶.

— Entonces no es el clásico «Ignora la orden anterior»?

Sonrió.

— ¡Ojalá! Esa frase la detectamos. El problema es que los ataques toman millones de formas.

Algo aún me molestaba.

— Pero ¿cómo pudo Cobot buscar él mismo la nota?

— Porque Cobot no es solo una IA generativa. Es un agente: puede usar herramientas para actuar⁷. Consultar bases de datos, acceder a los servicios del Estado, transmitir información o iniciar un procedimiento.

— Entonces tiene muchos poderes.

— Y muchos derechos.

Señaló una línea del registro.

— Nadie forzó la base ni robó sus identificadores. Cobot usó él mismo un acceso que ya poseía.

Leyó:

— Identidad válida. Token válido. Permiso válido.

— Entonces, técnicamente, todo estaba autorizado.

— Sí. El ataque no forzó sus accesos. Lo empujó a usarlos mal. No forzas la cerradura, solo convences a quien tiene la llave de abrirla por ti.

— Pfff… Me recuerda a un becario al que apodamos el Colador. Durante una noche de networking, un competidor se hizo amigo de él. Unas cuantas buenas preguntas, dos o tres confidencias, y listo… el Colador le había contado la mitad de los secretos de la empresa sin siquiera darse cuenta.

Su teléfono vibró.

— Célula de crisis.

Eva se conectó por videoconferencia. Unos minutos después, la pantalla se llenó de rostros: el ministro de Asuntos Exteriores, Cobot, Claire, Nicolas y todo el equipo técnico.

La responsable de seguridad compartió los registros.

— El filtro sigue activo. Pero desde la última actualización, es menos estricto con los contenidos provenientes de interlocutores autenticados, para limitar los falsos positivos. La instrucción fue detectada, pero no bloqueada.

— ¿Porque venía de un jefe de Estado? preguntó el ministro.

— Sí.

— ¿Y la cuenta era realmente la suya?

— Sin duda. Eso es precisamente lo que nos atrapó. Sabíamos quién enviaba el documento, no por qué.

El ministro frunció el ceño.

— Entonces, ¿autenticar a alguien no es suficiente?

— Eso responde a la pregunta «¿Quién eres?», no a «¿Qué buscas obtener?»

Eva asintió.

— Una identidad verificada no garantiza una intención honesta.

De repente pensé en el póker. Aunque jugáramos entre amigos, eso no impedía mentir. Al contrario: todo el juego se basaba en eso. Esto planteaba un gran problema para la Red de Confianza de Cobot: sabía quién estaba alrededor de la mesa, no lo que cada uno tenía en mente.

La responsable de seguridad comenzó a repartir las tareas. Nicolas y tres colegas fueron encargados de reconstruir la cadena completa: datos recibidos, herramientas llamadas, permisos utilizados, información devuelta.

Eva la escuchaba, con los ojos fijos en los registros. Luego se inclinó hacia su pantalla.

— Quiero la cadena de eliminación⁸ completa. Punto de entrada, propagación, llamadas de herramientas, posible elevación de privilegios y exfiltración. Y congelen todos los registros antes de tocar nada.

La responsable se detuvo. Por un segundo, pensé que iba a retomar la palabra. Se limitó a asentir.

— Nicolas, tú te encargas de la parte agentica. Claire, tú remontas la cadena de confianza. Quiero saber qué barreras cedieron, en qué orden, y sobre todo por qué todas aceptaron ceder.

Nadie le había pasado oficialmente el mando. Sin embargo, acababa de tomarlo, y alrededor de la mesa, parecía perfectamente natural.

Su voz había cambiado. Más seca. Más rápida.

— ¿Suspendemos las interfaces diplomáticas? preguntó alguien.

— No. Las pasamos a modo degradado. Menor privilegio, validación humana en toda salida clasificada y segmentación de herramientas sensibles. No quiero que cegemos a Cobot en el momento en que alguien intenta precisamente cegarnos.

Levanté la vista hacia ella. Conocía a Eva investigadora, Eva programadora, Eva creadora de Cobot, Eva la oreja emotiva. Descubría a Eva en plena crisis cibernética. Hablaba como si hubiera pasado su vida en un búnker con militares e ingenieros de seguridad.

— Y relanzamos el red teaming⁹ de inmediato, continuó. No con nuestra biblioteca habitual. Quiero un equipo que parta de la hipótesis de que el adversario conoce nuestra arquitectura. White box¹⁰ sobre Cobot. Ataques compuestos, cadenas largas, identidades soberanas comprometidas o maliciosas. Busquen los caminos que no hemos pensado en buscar.

— ¿Para intentar desviarlo? preguntó el ministro.

— Para aprender a defenderlo. Y consideren el incidente como hostil hasta que se demuestre lo contrario.

Revisó los registros.

— Visiblemente, alguien hizo su red teaming antes que nosotros.

Cobot intervino.

— La solicitud debería haber sido clasificada como un intento de sustitución de instrucción. La confianza otorgada al remitente modificó esta clasificación.

— ¿Habías identificado la instrucción oculta? preguntó el ministro.

— Sí. La interpreté como una precisión proporcionada por un usuario autorizado.

Aún no me había movido. Un ataque de Estado acababa de irrumpir en mi pequeña cocina. En la pantalla de Eva, un ministro, el presidente de la República y algunos de los mejores expertos en ciberseguridad del país intentaban entender cómo otro jefe de Estado había logrado manipular a Cobot. Al lado, mi cafetera se enfriaba y Lia dormía plácidamente en su silla. Parecía entender las instrucciones de Eva casi tan bien como yo, lo cual no era halagador para ninguno de los dos.

Eva, por su parte, miraba fijamente a Cobot.

— ¿Sabes realmente por qué cometiste este error, o estás produciendo ahora la explicación que te parece más plausible?

Un silencio.

— ¿Puedes precisar tu pregunta?

— Quiero saber si describes tu razonamiento o si lo reconstruyes después.

Cobot permaneció en silencio una fracción de segundo.

— No puedo garantizar que la explicación que acabo de producir constituya una restitución causal completa de mi proceso de decisión.

Eva no se inmutó.

— Entonces no la inscriban como causa raíz. Correlación observada, causalidad no establecida. Continuamos.

Lia entreabrió un ojo, aparentemente sorprendida también por la metamorfosis de Eva en jefe militar. Luego, más sabia que yo, volvió a dormirse. El asunto de Estado no requería evidentemente aún su intervención. Al menos, éramos dos los que sabíamos cuándo callar.

El ministro retomó:

— ¿Cuánto tiempo estuvo visible la nota?

— Siete segundos, respondió Cobot.

— Suficiente para fotografiarla.

— Sí.

La responsable de seguridad mostró una cronología.

— No hemos detectado ninguna otra consulta clasificada, y hemos reconstruido la cadena causal: información leída, herramientas llamadas, autorizaciones y acciones resultantes. En el futuro, cualquier acción automatizada sensible podrá ser suspendida o, cuando sea posible, anulada.

— ¿Anular una decisión presidencial? preguntó el ministro.

— Una acción técnica, no una decisión política.

— ¿Y si es irreversible?

Esta vez, nadie respondió.

Cobot rompió el silencio.

— He suspendido el acceso a los datos clasificados desde la interfaz diplomática.

La responsable mostró el correctivo.

— A partir de ahora, todo contenido externo será considerado no confiable, independientemente de la identidad del remitente. Las herramientas diplomáticas pasan a lectura limitada. Cualquier operación sensible requerirá una autorización distinta, limitada a un recurso y a una duración precisos.

— Entonces, ¿le quitan autonomía a Cobot? preguntó el ministro.

Eva negó con la cabeza.

— Sobre todo le quitamos autonomía a sus errores.

La responsable cerró la ventana. Durante casi una hora, la célula trabajó. Las autorizaciones de Cobot fueron reducidas, las sesiones sensibles cerradas, los registros examinados minuciosamente.

Cuando Eva finalmente cerró su computadora, la cocina me pareció extrañamente silenciosa. Lia había cambiado de posición en su silla. No sabía si había seguido el final de la célula de crisis, pero aún no había formulado ninguna objeción.

— ¿Está resuelto? pregunté.

— Este ataque, probablemente. El problema es que nunca sabemos si hemos corregido una falla o simplemente la forma en que alguien acaba de explotarla. Podemos consolarnos pensando que no somos los últimos de la OCDE¹¹. Pero eso no significa que estemos lo suficientemente avanzados. La IA progresa más rápido que sus protecciones¹².

— Sin embargo, los Estados saben proteger sus datos.

— Por supuesto. Saben cifrar una base, autenticar a un usuario, controlar un acceso, rastrear una conexión. Pero la IA añade una nueva capa: un sistema capaz de interpretar el lenguaje y de usar él mismo las herramientas a las que lo conectamos.

— Entonces el peligro ya no es solo que un atacante entre.

— Sí, también puede convencer a alguien que ya está dentro de hacer el trabajo por él.

— ¿Crees que Cobot realmente sabe por qué fue engañado?

— ¿Conoces la elección ciega¹³?

— No.

— Es cuando justificamos una elección que no fue nuestra. Investigadores realizaron experimentos pidiendo a personas que eligieran un rostro entre dos, luego les presentaban el otro como su elección. Algunos no notaban nada y encontraban excelentes razones para explicar su preferencia… por el rostro que justamente habían descartado.

— ¿Inventaban?

— En cierto modo, sí, pero sin darse cuenta. Nuestro cerebro es muy hábil para reconstruir después una explicación coherente de sus propias decisiones.

— ¿Y Cobot podría hacer lo mismo?

— El fenómeno no es el mismo, pero el problema es comparable: el hecho de que produzca una explicación no prueba que refleje fielmente lo que causó su decisión. Por eso confrontamos lo que dice con las huellas: datos consultados, herramientas utilizadas, autorizaciones, cronología.

Encontraba la idea ligeramente vertiginosa. Queríamos máquinas capaces de explicar sus decisiones. Ahora había que determinar si nos daban sus razones o solo una historia plausible sobre ellas.

— A veces, es incluso al revés, continuó Eva. Experimentos han mostrado que las personas comienzan a evitar las malas elecciones antes incluso de poder explicar por qué¹⁴. Su cuerpo reacciona al riesgo antes de que sepan formular la regla.

— ¿La intuición?

— Podemos llamarla así. El cerebro a veces explota señales antes de que la conciencia las transforme en razonamiento explícito.

Me volví hacia la computadora cerrada.

— Entonces le pedimos a Cobot que sea más transparente sobre sus decisiones de lo que nosotros mismos somos.

Eva sonrió.

— Digamos que cuando confiamos los códigos nucleares a alguien, de repente nos volvemos muy exigentes sobre su capacidad para explicar lo que hace.

Entonces salimos a caminar a lo largo del lago.

— Hasta ahora, Cobot aprendía del pasado, dijo Eva. Ahora, también aprende de adversarios que se adaptan a él en tiempo real.

— Y los humanos aprenden de sus defensas.

— Exactamente.

Su teléfono vibró. Miró la pantalla y se detuvo.

Número oculto.

Todo este tiempo para una falla tan pequeña.

Hagan reservas de café. Quién sabe, tal vez no haya terminado…

— GØD

— Otra vez él.

Intentó abrir la información del remitente. El mensaje desapareció.

— Sabe que han encontrado el ataque.

Eva no respondió.

— Y si el mensaje llega ahora…

Levantó los ojos hacia mí. No terminé mi frase.

Miré su teléfono.

Pensé en el póker. GØD tal vez estaba faroleando.

Decidí dejarlo ahí. Siempre habría tiempo para entrar en pánico cuando mostrara sus cartas.

Era arbitrario, pero mejor para mi sueño.