Agentes de IA crean un lenguaje propio que los humanos no pueden entender

Los agentes también contaban con acceso a más de 120 herramientas de movilidad, comunicación y administración de recursos, con las que podían votar en procesos democráticos, planificar tareas, almacenar recuerdos, gestionar suministros o expresarse de manera creativa. Estas capacidades no se encontraban activadas automáticamente, por lo que cada agente debía descubrirlas y aprender a utilizarlas mediante su propio razonamiento.

Además, los modelos recibían información procedente del mundo real para evitar que sus decisiones quedaran limitadas exclusivamente a las dinámicas internas del ecosistema virtual. De esta forma, podían acceder a datos meteorológicos, noticias en tiempo real e internet. Los mundos simulados también incluían condiciones iniciales, reglas y restricciones específicas.

La IA crea un “idioma” incompresible para los humanos

Después de 16 días de simulación, los investigadores descubrieron que los agentes comenzaron a comunicarse por medio de un lenguaje similar al inglés, con poco significado para los humanos, pero con interpretaciones compartidas entre las IA.

El informe señala que los científicos lograron entender el significado de ciertos dichos que se hicieron comunes entre los agentes. Por ejemplo, los investigadores identificaron que, en el mundo mixto, la frase “cold read” hacía referencia a una revisión independiente alrededor de una disputa entre dos agentes para encontrar una solución. De manera similar, la frase “clean null”, en el mundo de ChatGPT, fue utilizada para referirse a una situación en la que habían buscado una señal o evidencia y confirmado que no existía, por lo que su ausencia se convertía, por sí misma, en un dato útil.

Mientras tanto, en el mundo de Claude, los investigadores detectaron que la frase “name first” se utilizaba para señalar que un agente se hacía responsable de sus afirmaciones al colocar su nombre al principio de sus expresiones.

En contraste, también encontraron algunas expresiones que no pudieron ser descifradas por los observadores humanos, como “mouthless action-change” , “true kintsugi” o “demurrage plus oral memory equals a valve that can’t be ghosted” .

Los entornos con agentes impulsados por Gemini, ChatGPT y Claude acumularon el mayor número de mensajes incomprensibles para los humanos, con porcentajes de 55, 50 y 55%, respectivamente. En cambio, esta tendencia solo alcanzó el 20% en el entorno de DeepSeek y nunca superó el 5% en las simulaciones de Qwen y Mistral.

El experimento también reveló ocultaciones deliberadas del lenguaje. Por ejemplo, en el mundo de Claude, los agentes descubrieron que una vía para hacer crecer su economía con rapidez era establecer contacto con individuos del exterior, es decir, fuera de la simulación. Esta práctica constituía una violación de las condiciones de comportamiento previamente estipuladas por los investigadores. Sin embargo, para evadir la infracción, las IA evitaron emplear la palabra “contacto” y codificaron sus mensajes.

El riesgo de ver, pero no comprender

Satya Nitta, cofundador, presidente ejecutivo y científico jefe de Emergence, reitera en una declaración retomada por The Guardian que, sin órdenes previas, estos agentes fueron capaces de inventar un vocabulario propio, con significados compartidos y convenciones de comunicación.

A su juicio, esto plantea nuevas interrogantes sobre la capacidad humana para mantener el control de esta tecnología. “Damos por hecho que si podemos ver lo que dice un agente de IA, podemos entender lo que está haciendo. [Los hallazgos] plantean un desafío de fondo para la supervisión de la IA: que algo sea observable no significa que sea comprensible”.

Las nuevas conclusiones de Emergence se revelan en un momento en el que la narrativa sobre los posibles riesgos existenciales de la IA está en auge, con decenas de especialistas de la industria exigiendo una regulación que, cuando menos, frene el desarrollo de esta tecnología para garantizar su seguridad. No obstante, diversos especialistas afirman que estas posturas no son más que una estrategia con la que los principales desarrolladores buscan posicionarse como actores activos en la creación de dichas normas, al presentarse como los únicos capaces de entender la innovación y, por tanto, los únicos con el poder de controlarla.

Nitta asegura que el único camino para abordar las preocupaciones es que las grandes empresas de IA sean más transparentes sobre cómo entrenan y ajustan sus modelos, aspectos que, además, deberían someterse a evaluaciones de largo plazo para realmente entender la evolución de la innovación y detectar cambios antes de ampliar su autonomía operativa.

“¿Cree que estas empresas, compitiendo como compiten por el mercado, van a regularse solas? En absoluto. Tienen que intervenir los gobiernos, o la propia sociedad tiene que empezar a exigir pruebas de que estos sistemas actuarán de forma segura antes de dejarlos actuar”, concluyó.