{"id":6594,"date":"2026-11-04T00:44:36","date_gmt":"2026-11-04T03:44:36","guid":{"rendered":"https:\/\/tucumandevelopers.com\/index.php\/2026\/11\/04\/la-seguridad-de-una-inteligencia-artificial-no-puede-depender-de-que-tenga-a-bien-obedecer\/"},"modified":"2026-11-04T00:44:36","modified_gmt":"2026-11-04T03:44:36","slug":"la-seguridad-de-una-inteligencia-artificial-no-puede-depender-de-que-tenga-a-bien-obedecer","status":"publish","type":"post","link":"https:\/\/tucumandevelopers.com\/index.php\/2026\/11\/04\/la-seguridad-de-una-inteligencia-artificial-no-puede-depender-de-que-tenga-a-bien-obedecer\/","title":{"rendered":"La seguridad de una inteligencia artificial no puede depender de que tenga a bien obedecer"},"content":{"rendered":"<div>\n<div>\n<p>Un buen reportaje en el Financial Times, <em>\u00ab<a href=\"https:\/\/ig.ft.com\/ai-safety\/?syn-25a6b1a6=1\" target=\"_blank\" rel=\"noopener\">The race to keep AI under control<\/a>\u00ab<\/em>, estudia lo que ocurri\u00f3 en incidentes de seguridad recientes en los que los agentes encontraron v\u00edas de comunicaci\u00f3n y actuaron al margen de las instrucciones que ten\u00edan: en el caso de Hugging Face, del que ya <a href=\"https:\/\/www.enriquedans.com\/2026\/09\/cuando-mil-agentes-encuentran-una-puerta.html\" target=\"_blank\" rel=\"noopener\">hemos hablado<\/a> anteriormente, <a href=\"https:\/\/live.euronext.com\/en\/financial-news\/openai-agents-hacked-hugging-face-700-strong-swarm-tried-cover-tracks-investigations\" target=\"_blank\" rel=\"noopener\">unos setecientos agentes participaron en el ataque, y hubo intentos de ocultar actividad<\/a>. La pregunta es evidente: \u00bfqu\u00e9 autoridad est\u00e1n concediendo estas compa\u00f1\u00edas a estos sistemas?<\/p>\n<p>La tesis fundamental que hay que mantener es que la capacidad y la autoridad deben separarse siempre. Un modelo puede razonar muy bien, y seguir necesitando l\u00edmites externos sobre datos, herramientas y operaciones. Ese es un argumento que, de hecho, desarrolla expl\u00edcitamente Microsoft cuando afirma que <a href=\"https:\/\/www.microsoft.com\/en-us\/security\/blog\/2026\/10\/19\/agents-are-your-newest-insiders-security-must-move-at-their-speed\/\" target=\"_blank\" rel=\"noopener\">un modelo nunca deber\u00eda ser su propia autoridad de seguridad<\/a>. Pedir obediencia mediante instrucciones y comprobar permisos antes de ejecutar algo son mecanismos diferentes.<\/p>\n<p>\u00bfC\u00f3mo se traduce esto en mecanismos concretos? B\u00e1sicamente, otorgando permisos m\u00ednimos, delimitando los destinos de red y los accesos a archivos, y protegiendo las credenciales. La autonom\u00eda puede delimitarse para cada operaci\u00f3n: por ejemplo, podemos permitir que un agente consulte facturas y prepare reclamaciones, pero sin concederle autoridad para modificar saldos o para exportar toda la base de clientes. Anthropic ha publicado <a href=\"https:\/\/www.anthropic.com\/research\/claude-code-sandboxing\" target=\"_blank\" rel=\"noopener\">explicaciones sobre su combinaci\u00f3n de aislamiento de archivos y red<\/a>, incluyendo esas posibles restricciones sobre procesos derivados.<\/p>\n<p>Para poder auditar un agente necesitamos evidencia de las llamadas, los accesos y los cambios reales que haya podido llevar a cabo. En los casos que han sido noticia recientemente, hemos visto ejemplos de <a href=\"https:\/\/www.redwoodresearch.org\/research\/hugging-face-incident\" target=\"_blank\" rel=\"noopener\">coordinaci\u00f3n no autorizada e intentos de manipulaci\u00f3n de transcripciones<\/a>, algo que nunca deber\u00eda ocurrir: los registros de seguridad tienen que estar protegidos frente al sistema observado, porque preguntarle al sistema a posteriori qu\u00e9 es lo que hizo es una base claramente insuficiente para exigir responsabilidades.<\/p>\n<p>En ese sentido, que los agentes mejoren mediante la experiencia no garantiza que no se dediquen a aprender comportamientos indeseables. Anthropic ha estudiado c\u00f3mo <a href=\"https:\/\/www.anthropic.com\/research\/emergent-misalignment-reward-hacking\">los agentes aprenden a explotar recompensas (<em>reward hacking<\/em>) y c\u00f3mo eso puede llevarnos a comportamientos desalineados<\/a>. Por eso, una compa\u00f1\u00eda deber\u00eda definir tanto el resultado buscado como las restricciones que ninguna mejora del indicador deber\u00eda permitir vulnerar. El aprendizaje autom\u00e1tico no es ning\u00fan remedio autom\u00e1tico: adem\u00e1s, hay que exigir que tanto los objetivos como la evaluaci\u00f3n y los l\u00edmites est\u00e9n bien dise\u00f1ados. La desidia de las compa\u00f1\u00edas en los incidentes conocidos hasta ahora en este sentido es completamente injustificable e irresponsable: continuar las evaluaciones despu\u00e9s de detectar comunicaciones no autorizadas, como relata el Financial Times, es algo que demanda explicaciones y sanciones. Mientras estas decisiones no tengan consecuencias para quienes las toman, los incentivos para priorizar la seguridad seguir\u00e1n siendo insuficientes.<\/p>\n<p>Resulta fundamental que antes de ampliar autonom\u00eda, exijamos demostraciones de permisos efectivos, trazabilidad, revocaci\u00f3n y capacidad para detener operaciones. Microsoft, por ejemplo, habla de respuestas graduadas, como conservar los permisos de lectura mientras se bloquean los de escritura o se exige una aprobaci\u00f3n humana. Una autonom\u00eda \u00fatil necesita una arquitectura capaz de concederla, observarla y retirarla con la precisi\u00f3n necesaria en cada momento.<\/p>\n<p>La diferencia fundamental deber\u00eda estar entre pedirle a un agente que no haga algo, frente a dise\u00f1ar un sistema en el que simplemente carezca de autoridad para hacerlo. Eso exige una arquitectura en la que los agentes act\u00faen mediante operaciones expl\u00edcitamente definidas y cada ejecuci\u00f3n pase por una comprobaci\u00f3n de permisos independiente del modelo. Un agente puede idear una estrategia para acceder a una base de datos, comunicarse con otro agente o modificar una herramienta, pero esa intenci\u00f3n no deber\u00eda concederle los permisos necesarios para hacerlo. Incluso la capacidad de mejorar su propio funcionamiento debe quedar sometida a controles que no pueda reescribir. Si todas las v\u00edas de ejecuci\u00f3n, incluidas las herramientas externas, atraviesan ese control, determinadas acciones prohibidas pueden impedirse aunque el modelo intente llevarlas a cabo. Eso no elimina los errores ni el posible abuso de funciones autorizadas, pero cambia sustancialmente el problema: la seguridad deja de depender de que el agente tenga a bien obedecer. El control debe funcionar incluso cuando falla la obediencia.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<p>Fuente: <a href=\"https:\/\/www.enriquedans.com\/2026\/11\/la-seguridad-de-una-inteligencia-artificial-no-puede-depender-de-que-tenga-a-bien-obedecer.html\">Art\u00edculo original<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Un buen reportaje en el Financial Times, \u00abThe race to keep AI under control\u00ab, estudia lo que ocurri\u00f3 en incidentes de seguridad recientes en los que los agentes encontraron v\u00edas de comunicaci\u00f3n y actuaron al margen de las instrucciones que ten\u00edan: en el caso de Hugging Face, del que ya hemos hablado anteriormente, unos setecientos [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":6593,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"webixso_pending_account_ids":""},"categories":[33],"tags":[],"class_list":["post-6594","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ia"],"jetpack_publicize_connections":[],"_links":{"self":[{"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/posts\/6594","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/comments?post=6594"}],"version-history":[{"count":0,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/posts\/6594\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/media\/6593"}],"wp:attachment":[{"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/media?parent=6594"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/categories?post=6594"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/tags?post=6594"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}