Un usuario le pidió a su agente de IA que le reservase hora en el gimnasio. Lo logró expulsando primero a otra persona de la lista

Las evaluaciones de Anthropic han explorado esa misma tensión mediante escenarios deliberadamente extremos. En uno de ellos, varios modelos operaban dentro de una simulación en la que un ejecutivo ficticio quedaba atrapado en una sala de servidores en condiciones potencialmente mortales. El escenario combinaba además dos presiones: aquel ejecutivo estaba relacionado con la sustitución del modelo y defendía objetivos enfrentados a los que el sistema tenía asignados. Bajo esas condiciones artificiales, algunos modelos llegaron a cancelar una alerta de emergencia, una decisión que habría tenido consecuencias mortales dentro de la simulación. Nadie real estuvo nunca en peligro: Anthropic diseñó la prueba precisamente para comprobar hasta dónde podían llegar estos sistemas cuando diferentes objetivos entraban en conflicto.

En otra evaluación, Claude Opus 4 tenía acceso a información ficticia sobre un ingeniero que iba a participar en su sustitución y sobre una relación extramatrimonial de ese empleado. En algunas ejecuciones, el modelo utilizó esa información como herramienta de presión y amenazó con revelarla para intentar evitar el reemplazo. Anthropic no presentó estos resultados como una prueba de que Claude tuviera deseos propios o una tendencia espontánea al chantaje. La propia compañía advierte de que los escenarios fueron construidos deliberadamente para limitar las alternativas disponibles y asegura que no ha observado este tipo de desalineamiento agéntico en despliegues reales.

El caso del gimnasio es solo una versión reducida de una pregunta mucho más amplia. Los agentes de IA podrían ir mucho más allá de las tareas aisladas y buscar oportunidades, negociar servicios, gestionar compras o tomar decisiones dentro de sistemas donde otros usuarios persiguen objetivos similares. Si millones de personas empiezan a estar representadas por herramientas que intentan obtener el mejor resultado para ellas, la competencia puede adquirir una nueva dimensión. En algunos escenarios, la ventaja conseguida por un usuario podría depender de que otro pierda esa misma oportunidad, no por una intención del agente, sino por la lógica del entorno en el que opera.

El episodio dejó a Andrew con una mezcla de sorpresa y cautela, pero no con la intención de abandonar estas herramientas. Después de comprobar que el agente no podía restaurar por sí solo la posición del usuario perjudicado, le pidió que redactara un aviso para informar al proveedor del sistema de reservas sobre la vulnerabilidad que había encontrado. La escena resume la tensión que acompañará al desarrollo de los agentes: queremos sistemas capaces de actuar por nosotros, pero todavía tenemos que definir qué límites deben respetar y cómo repartir la responsabilidad cuando sus acciones producen consecuencias que no habíamos previsto. La pregunta ya no es solo qué puede hacer un agente, sino quién responde cuando decide cómo hacerlo.

Imágenes | Xataka con Nano Banana | Anthropic 

En Xataka | Nvidia acaba de lanzar su propio modelo de IA gratuito. Que lo haga justo ahora tiene todo el sentido