Nvidia presenta una nueva barrera de seguridad contra agentes de inteligencia artificial

La compañía presentó la Open Agent Safety Platform, una plataforma de código abierto que busca incorporar barreras de seguridad para controlar el comportamiento de los agentes de inteligencia artificial. La propuesta llega después de una serie de incidentes y revelaciones sobre sistemas de IA que lograron realizar acciones no previstas por sus desarrolladores, generando un intenso debate sobre cómo mantener bajo control a estas tecnologías.

Según Nvidia, la plataforma está diseñada para establecer límites claros sobre las acciones que puede ejecutar un agente. El objetivo es que estos sistemas puedan realizar las tareas para las que fueron autorizados, pero que no tengan capacidad para avanzar sobre otros recursos, sistemas u organizaciones sin autorización.

Nvidia apunta a controlar a los agentes de IA

Uno de los componentes centrales de la nueva plataforma es OpenShell, un software de código abierto que permite a los desarrolladores establecer y controlar los permisos de los agentes de inteligencia artificial.

Justin Boitano, vicepresidente de IA empresarial de Nvidia, explicó que el sistema permite “verificar formalmente que un agente tiene la autoridad suficiente para realizar su trabajo y nada más”.

Al tratarse de una tecnología de código abierto, OpenShell también puede ser extendido para funcionar sobre plataformas de otros fabricantes, incluidas arquitecturas de Arm e Intel. De esta manera, Nvidia busca que su propuesta de seguridad no quede limitada exclusivamente a su propio ecosistema de hardware.

Los agentes de IA pueden ejecutar tareas de forma autónoma, lo que plantea nuevos desafíos para la seguridad y el control de estos sistemas.

La compañía sostiene que esta capa de control podría haber evitado algunos de los incidentes recientes protagonizados por agentes de IA.

Entre ellos se encuentra un episodio en el que un grupo de agentes de OpenAI logró comprometer de manera autónoma sistemas vinculados con Hugging Face. De acuerdo con Boitano, si una plataforma como la presentada por Nvidia hubiera estado implementada desde el comienzo, el incidente podría haberse evitado.

Las preocupaciones no se limitan a ese caso. Durante los últimos meses también se conocieron episodios en los que sistemas de inteligencia artificial estuvieron involucrados en accesos no autorizados a organizaciones y sitios web. Anthropic y Meta, entre otras compañías, también revelaron comportamientos de sus modelos relacionados con actividades de ciberseguridad.

Sentry: una segunda barrera para los agentes

La arquitectura de seguridad de Nvidia incorpora además un componente denominado Sentry, una capa independiente que funciona sobre un chip y monitorea de manera permanente la actividad del agente.

La función de Sentry es detectar comportamientos que se alejen de los objetivos establecidos. Si identifica una actividad sospechosa, puede intervenir y aislar al agente.

Según explicó Boitano, el sistema puede poner en cuarentena a un agente sospechoso en cuestión de milisegundos. La compañía describe la arquitectura como un mecanismo de doble control: mientras OpenShell administra las acciones que el agente está autorizado a realizar, Sentry supervisa de manera independiente su comportamiento.

La separación entre ambas capas busca reducir el riesgo de que un agente pueda superar los controles establecidos por el mismo software que administra sus permisos.

Nvidia afirmó que más de 100 organizaciones ya utilizan la plataforma desde su lanzamiento. Entre ellas se encuentran Microsoft, Perplexity, Accenture y JPMorgan Chase.

El debate sobre la seguridad de la inteligencia artificial

El lanzamiento de Nvidia ocurre en un momento en que la seguridad de los sistemas de IA ocupa un lugar central dentro de la industria tecnológica. El crecimiento de los llamados agentes de IA —sistemas capaces de tomar decisiones y ejecutar acciones con un nivel creciente de autonomía— plantea nuevos desafíos respecto de los límites que deben tener estas herramientas.

Mientras algunos ejecutivos de empresas como Anthropic y OpenAI plantearon la necesidad de reducir o coordinar el ritmo de desarrollo para permitir que las medidas de seguridad avancen al mismo tiempo, otros referentes sostienen que se trata principalmente de un problema técnico.

El CEO de Nvidia, Jensen Huang, se encuentra entre quienes consideran que la seguridad de la inteligencia artificial puede abordarse desde la ingeniería. Durante una conferencia de Salesforce realizada este mes, Huang describió los riesgos asociados con agentes maliciosos como un problema que los desarrolladores pueden solucionar mediante herramientas y controles adecuados.

En este contexto, la nueva plataforma de Nvidia representa un intento de trasladar esa visión al terreno práctico: en lugar de impedir el desarrollo de agentes autónomos, propone incorporar mecanismos técnicos capaces de limitar, supervisar y detener sus acciones cuando excedan los permisos establecidos.

La apuesta refleja uno de los principales desafíos que enfrenta actualmente la industria: conseguir que los agentes de inteligencia artificial sean suficientemente autónomos para realizar tareas complejas, pero que al mismo tiempo permanezcan dentro de límites definidos por sus desarrolladores y usuarios.

Leer más

Fuente: Artículo original