La guerra que pudo empezar con un chatbot

Según una exclusiva de CNN que más bien parece una película, un analista de operaciones especiales pidió a un chatbot que combinase información abierta con inteligencia de señales clasificada sobre el manifiesto de carga de un barco chino en Oriente Medio, y llegó a la conclusión de que tal barco transportaba componentes de un programa nuclear.

El analista, además, volvió a utilizar el chatbot para convertir sus conclusiones en un informe de inteligencia con el formato usado habitualmente, que circuló, fue utilizado para preparar un abordaje a ese barco, ordenar el vuelo de aviones militares, y puso en marcha los preparativos de una operación especial que sólo se detuvo cuando una afortunada revisión descubrió el error, originado por una simple alucinación del chatbot.

La historia de CNN hay que tomarla todavía con pinzas: se basa en cuatro fuentes anónimas, no identifica al chatbot, no dice cuál era realmente la carga del barco, y las fuentes militares consultadas no han respondido sobre el tema. No sabemos si China llegó a detectar la operación especial norteamericana o a preparar algún tipo de respuesta, con lo que no puede decirse más que hipotéticamente que estuviese a punto de provocar una guerra, pero no parece un incidente inofensivo: el primer uso del chatbot generó una falsedad, el segundo eliminó las señales que podrían haberlo delatado y lo disfrazó como informe oficial, y a partir de ahí, una cadena humana actuó. El analista, en lugar de corregir al chatbot, legitimó y amplificó su contenido. Es lo que el marco de riesgos del NIST denomina una confabulation: la generación de contenido expuesto con seguridad pero erróneo o falso (conocido coloquialmente como «alucinaciones» o «fabricaciones») que puede inducir a error o engañar a los usuarios.

En el contexto político actual, un incidente así podría haber resultado gravísimo, y el riesgo no es pequeño, dado que desde el pasado enero el Pentágono desarrolla una estrategia de aceleración destinada a extender el uso de modelos comerciales de inteligencia artificial y a reducir las barreras a su utilización: ahora, la inteligencia artificial permite llegar mucho más deprisa a una mala idea.

Hay precedentes: en noviembre de 1979, una cinta de entrenamiento con una simulación de un ataque soviético se introdujo por error en el sistema de NORAD, y en junio de 1980, el fallo de un chip hizo aparecer miles de misiles soviéticos en las pantallas, lo que provocó que se arrancasen bombarderos, que se desplegase un puesto de mando aéreo y que casi se alertase al presidente Carter. En un momento en el que abundan las hipótesis sobre la posibilidad de que la inteligencia artificial acabe con la especie humana, y muchos se preguntan cómo podría llegar a hacerlo, un incidente así ofrece una pista bastante inquietante. Entonces, la situación se salvó gracias a la redundancia entre sistemas. En esta ocasión, por una bendita revisión humana adicional.

El paralelismo con la película «Fail Safe« (1964), de Sidney Lumet, es total: un fallo informático envía una orden aparentemente válida a bombarderos estadounidenses para atacar Moscú y, a partir de ahí, el sistema funciona impecablemente según unas reglas que impiden detenerlos. Wired ya recuperó y recomendó esta misma película ya hace algún tiempo, también al hilo de la inteligencia artificial.

La conclusión parece clara: no basta con invocar la supervisión humana. Necesitamos preservar la procedencia de cada afirmación, impedir que una misma inteligencia artificial genere una conclusión y después la revista con apariencia de informe oficial, exigir una segunda verificación verdaderamente independiente y prohibir que una acción armada dependa de una inferencia generativa no corroborada. Más allá de las referencias cinematográficas, la advertencia es evidente: estamos jugando con fuego, y mucho más cerca de una posible catástrofe de lo que muchos podrían pensar.

Para que durmáis bien.

In English on Medium, «We’ve been here before; will we never learn?»