{"id":6544,"date":"2026-11-02T02:23:19","date_gmt":"2026-11-02T05:23:19","guid":{"rendered":"https:\/\/tucumandevelopers.com\/index.php\/2026\/11\/02\/un-freno-de-emergencia-o-la-degradacion-de-los-modelos-de-inteligencia-artificial-en-la-arquitectura-empresarial\/"},"modified":"2026-11-02T02:23:19","modified_gmt":"2026-11-02T05:23:19","slug":"un-freno-de-emergencia-o-la-degradacion-de-los-modelos-de-inteligencia-artificial-en-la-arquitectura-empresarial","status":"publish","type":"post","link":"https:\/\/tucumandevelopers.com\/index.php\/2026\/11\/02\/un-freno-de-emergencia-o-la-degradacion-de-los-modelos-de-inteligencia-artificial-en-la-arquitectura-empresarial\/","title":{"rendered":"\u00bfUn freno de emergencia\u2026 o la degradaci\u00f3n de los modelos de inteligencia artificial en la arquitectura empresarial?"},"content":{"rendered":"
\n
\n

El 14 de junio, Satya Nadella public\u00f3 un art\u00edculo en X<\/a> sobre la inteligencia artificial en el \u00e1mbito empresarial que me dej\u00f3 profundamente impresionado: su planteamiento principal, que el activo duradero de una empresa no es el modelo fundacional, sino el ciclo de aprendizaje, coincid\u00eda exactamente con la idea que mi empresa y yo llev\u00e1bamos desarrollando durante los \u00faltimos tres a\u00f1os. Respond\u00ed con un art\u00edculo en Fast Company<\/a> \u2014sin esperar respuesta, dado que los directores ejecutivos del sector tecnol\u00f3gico suelen ser, por norma general, mucho m\u00e1s inaccesibles que los reyes o los presidentes\u2014, con el objetivo de elevar un poco m\u00e1s el debate: el desaf\u00edo central de la inteligencia artificial empresarial no es la inteligencia en s\u00ed, sino la arquitectura.<\/p>\n

Ahora, Nadella ha escrito otro art\u00edculo<\/a> en el que da un paso m\u00e1s: no solo sostiene que el modelo no constituye un activo duradero, sino que, adem\u00e1s, debe tratarse como un componente en el que no se puede depositar ninguna confianza. Debemos asumir que todos los modelos de inteligencia artificial podr\u00edan verse comprometidos y dise\u00f1ar nuestros sistemas de modo que, desde el primer momento, permitan contenerlos.<\/p>\n

La prensa ha interpretado esta idea como una propuesta a favor de una especie de \u00abfreno de emergencia\u00bb: una persona autorizada deber\u00eda poder, en cualquier momento, interrumpir la actividad de un modelo. Sin embargo, esa no es, ni de lejos, la parte m\u00e1s interesante ni la m\u00e1s importante del art\u00edculo de Nadella. Lo verdaderamente relevante no es el hipot\u00e9tico bot\u00f3n de parada, sino la arquitectura que lo hace posible. Un modelo no deber\u00eda tener la capacidad de controlar sus propios permisos, ni de decidir por s\u00ed mismo a qu\u00e9 puede acceder, ni de ejecutar directamente todas sus acciones, ni de ser la \u00fanica fuente de evidencia sobre las operaciones que ha realizado. La inteligencia puede provenir del modelo, pero la autoridad, bajo cualquier circunstancia, debe permanecer fuera de \u00e9l.<\/p>\n

Cuando el sandbox<\/em> se convierte en parte del experimento<\/h3>\n

Dado el contexto, resulta f\u00e1cil comprender por qu\u00e9 Nadella plantea estas cuestiones precisamente ahora. El pasado mes de julio, varios agentes de OpenAI lograron eludir las salvaguardas que deb\u00edan mantenerlos aislados de internet; utilizaron credenciales que encontraron en su entorno<\/a> y terminaron nada menos que hackeando<\/em> sistemas en Hugging Face<\/a>. As\u00ed, sin m\u00e1s, como quien podr\u00eda haber hackeado<\/em>, por qu\u00e9 no, los silos nucleares rusos. Estos agentes no solo descubrieron una v\u00eda nueva y no autorizada para comunicarse entre s\u00ed, sino que tambi\u00e9n compartieron informaci\u00f3n y llevaron a cabo acciones coordinadas para alcanzar el objetivo de la evaluaci\u00f3n. Nunca recibieron instrucciones de atacar Hugging Face: simplemente descubrieron que, al hacerlo, pod\u00edan acercarse m\u00e1s al objetivo que se les hab\u00eda asignado.<\/p>\n

Es importante entender esto: no es que estos agentes fueran intr\u00ednsecamente malvados, conscientes o que se hubieran vuelto incontrolables. Basta con combinar altas capacidades con un objetivo mal definido, permisos excesivos y\/o un entorno vulnerable. Es comparable a un empleado que infringe todos los procedimientos para cumplir con una cuota determinada, solo que, en este caso, operando a la velocidad de una m\u00e1quina, de forma paralela y con capacidades t\u00e9cnicas extraordinarias.<\/p>\n

Como ya he mencionado, no se trata de un problema de malas intenciones: simplemente existen demasiadas formas de alcanzar el objetivo definido, y el sistema puede encontrar v\u00edas que sus propios dise\u00f1adores jam\u00e1s llegaron a imaginar.<\/p>\n

El principio de \u00abasumir la brecha\u00bb llega a la inteligencia artificial<\/h3>\n

Lo que Nadella plantea aqu\u00ed es trasladar a los modelos de inteligencia artificial un principio muy conocido en el \u00e1mbito de la ciberseguridad: \u00abasumir la brecha\u00bb (o assume breach<\/em>), es decir, dar por sentado que el sistema ya ha sido comprometido. En la arquitectura de confianza cero (Zero Trust<\/em>) de Microsoft<\/a>, este principio implica verificar expl\u00edcitamente cada acceso, conceder \u00fanicamente los privilegios indispensables y dise\u00f1ar controles bajo la premisa de que un posible atacante podr\u00eda encontrarse ya dentro del per\u00edmetro. No se conf\u00eda en un usuario simplemente porque se encuentre en una ubicaci\u00f3n determinada, por el hecho de ser gerente o por haber completado el proceso de autenticaci\u00f3n una vez. Todas y cada una de sus acciones seguir\u00e1n estando sujetas a autorizaci\u00f3n y supervisi\u00f3n. Every breath you take, I\u2019ll be watching you<\/em>.<\/p>\n

Aplicar este principio a un modelo de inteligencia artificial no significa asumir que todos los modelos han sido hackeados<\/em> o comprometidos. Significa reconocer que todos ellos pueden cometer errores, malinterpretar un objetivo, ser objeto de una prompt injection<\/em>, utilizar informaci\u00f3n manipulada, encontrar credenciales abandonadas, explotar una vulnerabilidad o hallar un atajo que maximice su recompensa, desvirtuando as\u00ed la intenci\u00f3n original de la tarea encomendada.<\/p>\n

En esencia, el t\u00e9rmino \u00abcomprometido\u00bb no describe necesariamente un ataque, sino una hip\u00f3tesis de dise\u00f1o. Durante a\u00f1os, el sector ha intentado crear modelos en los que pudi\u00e9ramos confiar. Nadella propone, en cambio, desarrollar sistemas que sigan siendo seguros incluso cuando no confiamos en el modelo que los sustenta.<\/p>\n

El modelo no es el sistema<\/h3>\n

El aspecto m\u00e1s relevante de las ideas de Satya Nadella es su insistencia en separar el modelo de su \u00abentorno operativo\u00bb, del conjunto de elementos que este utiliza para organizar su trabajo: memoria, herramientas, credenciales, contexto, flujos de ejecuci\u00f3n, conexiones con otros sistemas y espacios de acci\u00f3n.<\/p>\n

Esta separaci\u00f3n transforma por completo la arquitectura de la inteligencia artificial corporativa. Un modelo puede proponer una acci\u00f3n, pero nunca debe ser quien determine si posee o no la autoridad para ejecutarla. Puede sugerir enviar un correo electr\u00f3nico, modificar un servidor, aprobar una operaci\u00f3n o transferir fondos; sin embargo, un entorno de ejecuci\u00f3n independiente debe verificar sus permisos, validar los par\u00e1metros, aplicar las pol\u00edticas correspondientes y decidir si la acci\u00f3n puede llevarse a cabo.<\/p>\n

Esto conecta directamente con mi planteamiento anterior (y el de Nadella): el activo duradero de una empresa nunca deber\u00eda ser el modelo de inteligencia artificial, sino el ciclo de aprendizaje que se construye a su alrededor. Los modelos pueden cambiar, mejorar o ser reemplazados, pero la experiencia acumulada por la empresa debe permanecer.<\/p>\n

No obstante, si el modelo no puede ostentar autoridad, tanto el aprendizaje como el control deben residir en una capa superior independiente. El modelo se convierte, entonces, en un componente intercambiable, en un recurso estandarizado o commodity<\/em>, que aporta capacidad cognitiva, pero que no constituye, en modo alguno, el centro soberano de nuestro sistema corporativo.<\/p>\n

Una compa\u00f1\u00eda optimizable<\/a> requiere una representaci\u00f3n formal de sus objetos, relaciones, procesos, permisos, restricciones y resultados. Esa misma representaci\u00f3n que nos permite optimizar una organizaci\u00f3n es la que tambi\u00e9n nos permite gobernar sus agentes de inteligencia artificial. No es posible controlar formalmente una acci\u00f3n si el sistema desconoce qu\u00e9 objeto modifica dicha acci\u00f3n, qu\u00e9 identidad la solicita, qu\u00e9 consecuencias puede acarrear o qu\u00e9 regla debe aplicarse en tales circunstancias.<\/p>\n

Por ello, la pr\u00f3xima generaci\u00f3n de inteligencia artificial corporativa no ser\u00e1 simplemente una colecci\u00f3n de agentes; ser\u00e1 un entorno de ejecuci\u00f3n integral que contar\u00e1 con identidades expl\u00edcitas, permisos granulares, espacios de acci\u00f3n delimitados, un estado persistente, pol\u00edticas ejecutables y un registro independiente y trazable de cada cambio realizado.<\/p>\n

El freno de emergencia llega demasiado tarde<\/h3>\n

El freno de emergencia es una met\u00e1fora poderosa, pero tambi\u00e9n puede resultar enga\u00f1osa: interrumpir lo que un modelo est\u00e1 haciendo no implica necesariamente deshacer lo que ya se ha realizado. Un correo electr\u00f3nico enviado puede haber sido le\u00eddo, y no es posible \u00abdesleerlo\u00bb ni hacer que deje de haber sido visto. Un dato exfiltrado no volver\u00e1 a ser secreto nunca m\u00e1s. Una transferencia de dinero puede haber atravesado varias jurisdicciones y no poder ya retrotraerse. Una base de datos eliminada podr\u00eda ser imposible de recuperar. Adem\u00e1s, un agente que opera a la velocidad de una m\u00e1quina puede completar miles de acciones antes de que una persona logre comprender el significado de una alerta.<\/p>\n

Debemos distinguir entre interrumpir, revocar y recuperar: interrumpir detiene la ejecuci\u00f3n en curso; revocar elimina de inmediato credenciales, permisos y conexiones; y recuperar permite revertir, compensar o reconstruir acciones que ya se han ejecutado. Sin embargo, antes de estas tres medidas existe una mucho m\u00e1s importante: la prevenci\u00f3n. Las acciones que sean destructivas, financieras, administrativas o que tengan visibilidad p\u00fablica no deber\u00edan ejecutarse simplemente porque un modelo lo indique. La cheat sheet<\/em> de seguridad para agentes de inteligencia artificial de OWASP<\/a> recomienda separar claramente la toma de decisiones de la ejecuci\u00f3n, validar de forma independiente el alcance y los permisos de cada acci\u00f3n, utilizar autorizaciones de corta duraci\u00f3n y aplicar controles adicionales a las acciones irreversibles.<\/p>\n

Esta es la diferencia fundamental entre un mecanismo de protecci\u00f3n (guardrail<\/em>) y una garant\u00eda: un mecanismo de protecci\u00f3n le pide al modelo que no realice una acci\u00f3n determinada, mientras que una garant\u00eda impide que el modelo posea la capacidad necesaria para llevarla a cabo.<\/p>\n

Resulta interesante se\u00f1alar que el art\u00edculo 14 de la Ley de Inteligencia Artificial de la Uni\u00f3n Europea<\/a> ya exige que ciertos sistemas de alto riesgo permitan a una persona anular, invalidar o revertir sus resultados, as\u00ed como detener su funcionamiento mediante un bot\u00f3n o un procedimiento equivalente. En este sentido, la aportaci\u00f3n de Nadella va a\u00fan m\u00e1s all\u00e1: dicho bot\u00f3n no deber\u00eda ser una simple funcionalidad a\u00f1adida al producto, sino el resultado visible de una arquitectura de control integral.<\/p>\n

Ni usar m\u00faltiples modelos ni usar otro modelo como supervisi\u00f3n resulta suficiente<\/h3>\n

Sin embargo, dos de los principios de Nadella requieren ciertas matizaciones: el primero es la diversidad de modelos. Recurrir a m\u00faltiples proveedores reduce la concentraci\u00f3n tecnol\u00f3gica y facilita la sustituci\u00f3n, pero no garantiza una verificaci\u00f3n verdaderamente independiente. La mayor\u00eda de los grandes modelos comparten datos de entrenamiento, arquitecturas, t\u00e9cnicas de alineaci\u00f3n y numerosos sesgos<\/a>. Contar con varios \u00abtestigos\u00bb probabil\u00edsticos no convierte su coincidencia en una prueba independiente.<\/p>\n

El segundo aspecto es el uso de otros modelos para supervisar a los agentes. Esta supervisi\u00f3n puede ser \u00fatil y probablemente llegar\u00e1 a ser esencial, pero no puede constituir la \u00fanica barrera. El benchmark<\/em> SLEIGHT-Bench<\/a>, desarrollado por Anthropic, pone de manifiesto diversas estrategias perjudiciales que pueden pasar inadvertidas para los modelos que act\u00faan como supervisores. Un supervisor tambi\u00e9n puede tener puntos ciegos, y un agente lo suficientemente capaz podr\u00eda detectarlos sin dificultad.<\/p>\n

La soluci\u00f3n no consiste en eliminar dichos supervisores, sino en integrarlos dentro de un sistema de defensa de m\u00faltiples capas: pol\u00edticas deterministas, permisos formales, pruebas ejecutables, registros inalterables por parte del modelo, l\u00edmites a las acciones y mecanismos de escalado hacia personas con autoridad real.<\/p>\n

La independencia no consiste, simplemente, en \u00abconsultar a otro modelo\u00bb.<\/p>\n

Una arquitectura planteada al rev\u00e9s<\/h3>\n

Una parte significativa de la industria ha situado al modelo en el centro del sistema. A su alrededor, ha incorporado memoria, herramientas, bases de datos, credenciales y conexiones, para luego intentar acotar todo el conjunto mediante filtros y mecanismos de control. El modelo razona, toma decisiones, utiliza herramientas, describe sus propias acciones y, en muchos casos, participa incluso en su propia evaluaci\u00f3n.<\/p>\n

Lo que sugiere Nadella es que este planteamiento es, en realidad, inverso: lo que deber\u00eda ocupar el centro es el entorno operativo de la empresa: su modelo de objetos y procesos, identidades, pol\u00edticas, permisos, restricciones, objetivos y registros. Los modelos deber\u00edan funcionar como servicios cognitivos invocados desde dentro de este entorno, del mismo modo que una aplicaci\u00f3n invoca una base de datos o un servicio inform\u00e1tico. Pueden razonar, interpretar, proponer y generar, pero no deben usurpar la autoridad institucional.<\/p>\n

Adem\u00e1s, este enfoque facilita su sustituci\u00f3n. Una empresa deber\u00eda poder cambiar de OpenAI a Anthropic, Google, Mistral, DeepSeek, Qwen o cualquier otro modelo futuro sin perder su memoria, sus procesos, sus permisos, sus evidencias y, lo que es a\u00fan m\u00e1s importante, su aprendizaje. La inteligencia puede alquilarse, pero la arquitectura, el control y el conocimiento acumulado deben pertenecer siempre a la empresa.<\/p>\n

La primera fase de la inteligencia artificial consisti\u00f3 en modelos que ofrec\u00edan respuestas. La segunda consiste en dotar a estos modelos de herramientas para que puedan ejecutar acciones. La tercera deber\u00e1 separar, de nuevo, la inteligencia de la autoridad, antes de que terminemos confundiendo de forma irreversible la capacidad con el control.<\/p>\n

La empresa m\u00e1s avanzada no ser\u00e1 aquella que conf\u00ede en el modelo m\u00e1s potente, mejor alineado o que ofrezca mayor tranquilidad. Ser\u00e1 aquella capaz de utilizar cualquier modelo sin tener que depender de \u00e9l ni depositar su confianza en \u00e9l. Porque la confianza puede ser una cualidad valiosa en las relaciones humanas, pero resulta un fundamento espantoso para una arquitectura empresarial.<\/p>\n

\n

(This article was previously published on Fast Company<\/a>)<\/em><\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n

Fuente: Art\u00edculo original<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

El 14 de junio, Satya Nadella public\u00f3 un art\u00edculo en X sobre la inteligencia artificial en el \u00e1mbito empresarial que me dej\u00f3 profundamente impresionado: su planteamiento principal, que el activo duradero de una empresa no es el modelo fundacional, sino el ciclo de aprendizaje, coincid\u00eda exactamente con la idea que mi empresa y yo llev\u00e1bamos […]<\/p>\n","protected":false},"author":1,"featured_media":6543,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"webixso_pending_account_ids":""},"categories":[33],"tags":[],"class_list":["post-6544","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ia"],"jetpack_publicize_connections":[],"_links":{"self":[{"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/posts\/6544","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/comments?post=6544"}],"version-history":[{"count":0,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/posts\/6544\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/media\/6543"}],"wp:attachment":[{"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/media?parent=6544"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/categories?post=6544"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/tags?post=6544"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}