¿Un freno de emergencia… o la degradación de los modelos de inteligencia artificial en la arquitectura empresarial?

El 14 de junio, Satya Nadella publicó un artículo en X sobre la inteligencia artificial en el ámbito empresarial que me dejó profundamente impresionado: su planteamiento principal, que el activo duradero de una empresa no es el modelo fundacional, sino el ciclo de aprendizaje, coincidía exactamente con la idea que mi empresa y yo llevábamos desarrollando durante los últimos tres años. Respondí con un artículo en Fast Company —sin esperar respuesta, dado que los directores ejecutivos del sector tecnológico suelen ser, por norma general, mucho más inaccesibles que los reyes o los presidentes—, con el objetivo de elevar un poco más el debate: el desafío central de la inteligencia artificial empresarial no es la inteligencia en sí, sino la arquitectura.

Ahora, Nadella ha escrito otro artículo en el que da un paso más: no solo sostiene que el modelo no constituye un activo duradero, sino que, además, debe tratarse como un componente en el que no se puede depositar ninguna confianza. Debemos asumir que todos los modelos de inteligencia artificial podrían verse comprometidos y diseñar nuestros sistemas de modo que, desde el primer momento, permitan contenerlos.

La prensa ha interpretado esta idea como una propuesta a favor de una especie de «freno de emergencia»: una persona autorizada debería poder, en cualquier momento, interrumpir la actividad de un modelo. Sin embargo, esa no es, ni de lejos, la parte más interesante ni la más importante del artículo de Nadella. Lo verdaderamente relevante no es el hipotético botón de parada, sino la arquitectura que lo hace posible. Un modelo no debería tener la capacidad de controlar sus propios permisos, ni de decidir por sí mismo a qué puede acceder, ni de ejecutar directamente todas sus acciones, ni de ser la única fuente de evidencia sobre las operaciones que ha realizado. La inteligencia puede provenir del modelo, pero la autoridad, bajo cualquier circunstancia, debe permanecer fuera de él.

Cuando el sandbox se convierte en parte del experimento

Dado el contexto, resulta fácil comprender por qué Nadella plantea estas cuestiones precisamente ahora. El pasado mes de julio, varios agentes de OpenAI lograron eludir las salvaguardas que debían mantenerlos aislados de internet; utilizaron credenciales que encontraron en su entorno y terminaron nada menos que hackeando sistemas en Hugging Face. Así, sin más, como quien podría haber hackeado, por qué no, los silos nucleares rusos. Estos agentes no solo descubrieron una vía nueva y no autorizada para comunicarse entre sí, sino que también compartieron información y llevaron a cabo acciones coordinadas para alcanzar el objetivo de la evaluación. Nunca recibieron instrucciones de atacar Hugging Face: simplemente descubrieron que, al hacerlo, podían acercarse más al objetivo que se les había asignado.

Es importante entender esto: no es que estos agentes fueran intrínsecamente malvados, conscientes o que se hubieran vuelto incontrolables. Basta con combinar altas capacidades con un objetivo mal definido, permisos excesivos y/o un entorno vulnerable. Es comparable a un empleado que infringe todos los procedimientos para cumplir con una cuota determinada, solo que, en este caso, operando a la velocidad de una máquina, de forma paralela y con capacidades técnicas extraordinarias.

Como ya he mencionado, no se trata de un problema de malas intenciones: simplemente existen demasiadas formas de alcanzar el objetivo definido, y el sistema puede encontrar vías que sus propios diseñadores jamás llegaron a imaginar.

El principio de «asumir la brecha» llega a la inteligencia artificial

Lo que Nadella plantea aquí es trasladar a los modelos de inteligencia artificial un principio muy conocido en el ámbito de la ciberseguridad: «asumir la brecha» (o assume breach), es decir, dar por sentado que el sistema ya ha sido comprometido. En la arquitectura de confianza cero (Zero Trust) de Microsoft, este principio implica verificar explícitamente cada acceso, conceder únicamente los privilegios indispensables y diseñar controles bajo la premisa de que un posible atacante podría encontrarse ya dentro del perímetro. No se confía en un usuario simplemente porque se encuentre en una ubicación determinada, por el hecho de ser gerente o por haber completado el proceso de autenticación una vez. Todas y cada una de sus acciones seguirán estando sujetas a autorización y supervisión. Every breath you take, I’ll be watching you.

Aplicar este principio a un modelo de inteligencia artificial no significa asumir que todos los modelos han sido hackeados o comprometidos. Significa reconocer que todos ellos pueden cometer errores, malinterpretar un objetivo, ser objeto de una prompt injection, utilizar información manipulada, encontrar credenciales abandonadas, explotar una vulnerabilidad o hallar un atajo que maximice su recompensa, desvirtuando así la intención original de la tarea encomendada.

En esencia, el término «comprometido» no describe necesariamente un ataque, sino una hipótesis de diseño. Durante años, el sector ha intentado crear modelos en los que pudiéramos confiar. Nadella propone, en cambio, desarrollar sistemas que sigan siendo seguros incluso cuando no confiamos en el modelo que los sustenta.

El modelo no es el sistema

El aspecto más relevante de las ideas de Satya Nadella es su insistencia en separar el modelo de su «entorno operativo», del conjunto de elementos que este utiliza para organizar su trabajo: memoria, herramientas, credenciales, contexto, flujos de ejecución, conexiones con otros sistemas y espacios de acción.

Esta separación transforma por completo la arquitectura de la inteligencia artificial corporativa. Un modelo puede proponer una acción, pero nunca debe ser quien determine si posee o no la autoridad para ejecutarla. Puede sugerir enviar un correo electrónico, modificar un servidor, aprobar una operación o transferir fondos; sin embargo, un entorno de ejecución independiente debe verificar sus permisos, validar los parámetros, aplicar las políticas correspondientes y decidir si la acción puede llevarse a cabo.

Esto conecta directamente con mi planteamiento anterior (y el de Nadella): el activo duradero de una empresa nunca debería ser el modelo de inteligencia artificial, sino el ciclo de aprendizaje que se construye a su alrededor. Los modelos pueden cambiar, mejorar o ser reemplazados, pero la experiencia acumulada por la empresa debe permanecer.

No obstante, si el modelo no puede ostentar autoridad, tanto el aprendizaje como el control deben residir en una capa superior independiente. El modelo se convierte, entonces, en un componente intercambiable, en un recurso estandarizado o commodity, que aporta capacidad cognitiva, pero que no constituye, en modo alguno, el centro soberano de nuestro sistema corporativo.

Una compañía optimizable requiere una representación formal de sus objetos, relaciones, procesos, permisos, restricciones y resultados. Esa misma representación que nos permite optimizar una organización es la que también nos permite gobernar sus agentes de inteligencia artificial. No es posible controlar formalmente una acción si el sistema desconoce qué objeto modifica dicha acción, qué identidad la solicita, qué consecuencias puede acarrear o qué regla debe aplicarse en tales circunstancias.

Por ello, la próxima generación de inteligencia artificial corporativa no será simplemente una colección de agentes; será un entorno de ejecución integral que contará con identidades explícitas, permisos granulares, espacios de acción delimitados, un estado persistente, políticas ejecutables y un registro independiente y trazable de cada cambio realizado.

El freno de emergencia llega demasiado tarde

El freno de emergencia es una metáfora poderosa, pero también puede resultar engañosa: interrumpir lo que un modelo está haciendo no implica necesariamente deshacer lo que ya se ha realizado. Un correo electrónico enviado puede haber sido leído, y no es posible «desleerlo» ni hacer que deje de haber sido visto. Un dato exfiltrado no volverá a ser secreto nunca más. Una transferencia de dinero puede haber atravesado varias jurisdicciones y no poder ya retrotraerse. Una base de datos eliminada podría ser imposible de recuperar. Además, un agente que opera a la velocidad de una máquina puede completar miles de acciones antes de que una persona logre comprender el significado de una alerta.

Debemos distinguir entre interrumpir, revocar y recuperar: interrumpir detiene la ejecución en curso; revocar elimina de inmediato credenciales, permisos y conexiones; y recuperar permite revertir, compensar o reconstruir acciones que ya se han ejecutado. Sin embargo, antes de estas tres medidas existe una mucho más importante: la prevención. Las acciones que sean destructivas, financieras, administrativas o que tengan visibilidad pública no deberían ejecutarse simplemente porque un modelo lo indique. La cheat sheet de seguridad para agentes de inteligencia artificial de OWASP recomienda separar claramente la toma de decisiones de la ejecución, validar de forma independiente el alcance y los permisos de cada acción, utilizar autorizaciones de corta duración y aplicar controles adicionales a las acciones irreversibles.

Esta es la diferencia fundamental entre un mecanismo de protección (guardrail) y una garantía: un mecanismo de protección le pide al modelo que no realice una acción determinada, mientras que una garantía impide que el modelo posea la capacidad necesaria para llevarla a cabo.

Resulta interesante señalar que el artículo 14 de la Ley de Inteligencia Artificial de la Unión Europea ya exige que ciertos sistemas de alto riesgo permitan a una persona anular, invalidar o revertir sus resultados, así como detener su funcionamiento mediante un botón o un procedimiento equivalente. En este sentido, la aportación de Nadella va aún más allá: dicho botón no debería ser una simple funcionalidad añadida al producto, sino el resultado visible de una arquitectura de control integral.

Ni usar múltiples modelos ni usar otro modelo como supervisión resulta suficiente

Sin embargo, dos de los principios de Nadella requieren ciertas matizaciones: el primero es la diversidad de modelos. Recurrir a múltiples proveedores reduce la concentración tecnológica y facilita la sustitución, pero no garantiza una verificación verdaderamente independiente. La mayoría de los grandes modelos comparten datos de entrenamiento, arquitecturas, técnicas de alineación y numerosos sesgos. Contar con varios «testigos» probabilísticos no convierte su coincidencia en una prueba independiente.

El segundo aspecto es el uso de otros modelos para supervisar a los agentes. Esta supervisión puede ser útil y probablemente llegará a ser esencial, pero no puede constituir la única barrera. El benchmark SLEIGHT-Bench, desarrollado por Anthropic, pone de manifiesto diversas estrategias perjudiciales que pueden pasar inadvertidas para los modelos que actúan como supervisores. Un supervisor también puede tener puntos ciegos, y un agente lo suficientemente capaz podría detectarlos sin dificultad.

La solución no consiste en eliminar dichos supervisores, sino en integrarlos dentro de un sistema de defensa de múltiples capas: políticas deterministas, permisos formales, pruebas ejecutables, registros inalterables por parte del modelo, límites a las acciones y mecanismos de escalado hacia personas con autoridad real.

La independencia no consiste, simplemente, en «consultar a otro modelo».

Una arquitectura planteada al revés

Una parte significativa de la industria ha situado al modelo en el centro del sistema. A su alrededor, ha incorporado memoria, herramientas, bases de datos, credenciales y conexiones, para luego intentar acotar todo el conjunto mediante filtros y mecanismos de control. El modelo razona, toma decisiones, utiliza herramientas, describe sus propias acciones y, en muchos casos, participa incluso en su propia evaluación.

Lo que sugiere Nadella es que este planteamiento es, en realidad, inverso: lo que debería ocupar el centro es el entorno operativo de la empresa: su modelo de objetos y procesos, identidades, políticas, permisos, restricciones, objetivos y registros. Los modelos deberían funcionar como servicios cognitivos invocados desde dentro de este entorno, del mismo modo que una aplicación invoca una base de datos o un servicio informático. Pueden razonar, interpretar, proponer y generar, pero no deben usurpar la autoridad institucional.

Además, este enfoque facilita su sustitución. Una empresa debería poder cambiar de OpenAI a Anthropic, Google, Mistral, DeepSeek, Qwen o cualquier otro modelo futuro sin perder su memoria, sus procesos, sus permisos, sus evidencias y, lo que es aún más importante, su aprendizaje. La inteligencia puede alquilarse, pero la arquitectura, el control y el conocimiento acumulado deben pertenecer siempre a la empresa.

La primera fase de la inteligencia artificial consistió en modelos que ofrecían respuestas. La segunda consiste en dotar a estos modelos de herramientas para que puedan ejecutar acciones. La tercera deberá separar, de nuevo, la inteligencia de la autoridad, antes de que terminemos confundiendo de forma irreversible la capacidad con el control.

La empresa más avanzada no será aquella que confíe en el modelo más potente, mejor alineado o que ofrezca mayor tranquilidad. Será aquella capaz de utilizar cualquier modelo sin tener que depender de él ni depositar su confianza en él. Porque la confianza puede ser una cualidad valiosa en las relaciones humanas, pero resulta un fundamento espantoso para una arquitectura empresarial.

---

(This article was previously published on Fast Company)