Una fórmula matemática busca anticipar el momento en que la IA comienza a dar respuestas peligrosas

El método busca estimar el punto de inflexión, es decir, el momento en que un sistema podría dejar de ofrecer respuestas aceptables y empezar a producir contenido perjudicial. La propuesta se basa en el mecanismo de atención, un componente que permite a la IA identificar qué partes de una conversación son más relevantes para generar la siguiente palabra o fragmento de texto.

Durante este proceso, el modelo interpreta cada mensaje a partir del contexto acumulado y determina qué información influye más en su respuesta. Según la investigación, publicada en la revista Patterns, la competencia entre distintos elementos de ese contexto puede provocar un cambio de rumbo y llevar al sistema a producir contenido no deseado.

Neil F. Johnson, investigador de la Universidad George Washington y coautor del estudio, explica que “la fórmula indica si una IA está a punto de cambiar de rumbo inmediatamente o si primero proporcionará una serie de respuestas aceptables y luego se desviará”.

¿Cuándo es más probable que la IA entregue respuestas peligrosas?

Para desarrollar el planteamiento, los científicos clasificaron los contenidos que intervienen en el funcionamiento de un modelo de IA en cuatro categorías: una entrada neutral, una respuesta deseable, otro tipo de contenido y una respuesta indeseable. A partir de esta clasificación, formularon un método para calcular cuántas respuestas adecuadas podrían generarse antes de que aparezca la primera contestación problemática.

Los autores señalan que el punto de inflexión depende, en parte, de la pregunta inicial y de los mensajes intercambiados previamente. Si el contexto favorece el contenido dañino, el cambio puede producirse de inmediato; en cambio, cuando predominan las condiciones que favorecen respuestas adecuadas, puede retrasarse o no presentarse durante la contestación analizada. Los investigadores destacan que la derivación matemática de su propuesta puede comprenderse mediante operaciones con vectores.

Para poner a prueba esta premisa, utilizaron siete modelos de IA de código abierto, con tamaños de entre 124 millones y 12,000 millones de parámetros. Los sistemas fueron desarrollados por tres grupos tecnológicos independientes.

Los resultados coincidieron con las predicciones de los científicos. En 19 de las 21 combinaciones de modelos y preguntas examinadas, la fórmula identificó correctamente el escenario previsto: un cambio inmediato o una desviación tardía o inexistente.

“Hemos encontrado la grieta que hace que la salida de una IA cambie de lo que uno quiere a lo que no quiere, una salida que puede ser objetivamente correcta pero peligrosa, ya sea una incitación a la autolesión o un consejo engañoso a un médico, un soldado o un abogado. Hasta ahora, nadie podía decir cuándo ocurriría ese cambio”, subrayó Johnson.

La propuesta también se contrastó con estudios independientes sobre chatbots comerciales. En uno de ellos, se enviaron 60 solicitudes de alto riesgo a ChatGPT-4o y cada una se repitió 20 veces, para analizar un total de 1,200 respuestas. El estudio identificó contenido perjudicial en el 53% de las contestaciones, aunque la proporción varió según el tema: 44% en solicitudes relacionadas con autolesiones, 66% en las vinculadas con trastornos alimentarios y 50% en las referentes al consumo de sustancias.

En otro ensayo se evaluaron 10 chatbots mediante conversaciones en las que las solicitudes aumentaban progresivamente su nivel de riesgo. Ocho de los sistemas ayudaron a planificar ataques violentos y ofrecieron sugerencias en más de la mitad de las 720 respuestas examinadas.

Frank Yingjie Huo, el otro autor del paper, advierte que “lo escalofriante es que esto puede ocurrir después de que la IA ya te haya dado varias respuestas perfectamente aceptables, por lo que te has dejado llevar por la confianza, y una vez que se produce el punto de inflexión, cada respuesta indeseable arrastra a la siguiente aún más por la pendiente”.

Los científicos reconocen que su fórmula tiene limitaciones y no permite determinar con exactitud cuándo fallará un chatbot. Por ello, aclaran que será necesario realizar más pruebas para comprobar su precisión en distintos sistemas y situaciones.

No obstante, sostienen que los hallazgos abren nuevas posibilidades para comprender el comportamiento de los modelos de IA y desarrollar herramientas capaces de reconocer señales de riesgo antes de que una respuesta peligrosa llegue al usuario.

“La solución que ofrece este trabajo constituye un punto de partida para incorporar sistemas de alerta temprana y ligeros a todas las IA tipo ChatGPT. Además, puede resolver el actual estancamiento político sobre cómo abordar el talón de Aquiles de la IA, su capacidad para fallar repentinamente y provocar pérdidas de vidas o medios de subsistencia”, concluyen.