{"id":5958,"date":"2026-10-12T00:46:16","date_gmt":"2026-10-12T03:46:16","guid":{"rendered":"https:\/\/tucumandevelopers.com\/index.php\/2026\/10\/12\/una-formula-matematica-busca-anticipar-el-momento-en-que-la-ia-comienza-a-dar-respuestas-peligrosas\/"},"modified":"2026-10-12T00:46:16","modified_gmt":"2026-10-12T03:46:16","slug":"una-formula-matematica-busca-anticipar-el-momento-en-que-la-ia-comienza-a-dar-respuestas-peligrosas","status":"publish","type":"post","link":"https:\/\/tucumandevelopers.com\/index.php\/2026\/10\/12\/una-formula-matematica-busca-anticipar-el-momento-en-que-la-ia-comienza-a-dar-respuestas-peligrosas\/","title":{"rendered":"Una f\u00f3rmula matem\u00e1tica busca anticipar el momento en que la IA comienza a dar respuestas peligrosas"},"content":{"rendered":"
\n
<\/div>\n
\n

El m\u00e9todo busca estimar el punto de inflexi\u00f3n, es decir, el momento en que un sistema podr\u00eda dejar de ofrecer respuestas aceptables y empezar a producir contenido perjudicial. La propuesta se basa en el mecanismo de atenci\u00f3n<\/strong>, un componente que permite a la IA identificar qu\u00e9 partes de una conversaci\u00f3n son m\u00e1s relevantes para generar la siguiente palabra o fragmento de texto.<\/p>\n

Durante este proceso, el modelo interpreta cada mensaje a partir del contexto acumulado y determina qu\u00e9 informaci\u00f3n influye m\u00e1s en su respuesta. Seg\u00fan la investigaci\u00f3n, publicada<\/a> en la revista Patterns<\/em>, la competencia entre distintos elementos de ese contexto puede provocar un cambio de rumbo y llevar al sistema a producir contenido no deseado.<\/p>\n

Neil F. Johnson, investigador de la Universidad George Washington y coautor del estudio, explica que \u201cla f\u00f3rmula indica si una IA est\u00e1 a punto de cambiar de rumbo inmediatamente o si primero proporcionar\u00e1 una serie de respuestas aceptables y luego se desviar\u00e1\u201d.<\/p>\n

\u00bfCu\u00e1ndo es m\u00e1s probable que la IA entregue respuestas peligrosas?<\/h2>\n

Para desarrollar el planteamiento, los cient\u00edficos clasificaron los contenidos que intervienen en el funcionamiento de un modelo de IA en cuatro categor\u00edas: una entrada neutral, una respuesta deseable, otro tipo de contenido y una respuesta indeseable. A partir de esta clasificaci\u00f3n, formularon un m\u00e9todo para calcular cu\u00e1ntas respuestas adecuadas podr\u00edan generarse antes de que aparezca la primera contestaci\u00f3n problem\u00e1tica.<\/p>\n

Los autores se\u00f1alan que el punto de inflexi\u00f3n depende, en parte, de la pregunta inicial y de los mensajes intercambiados previamente. Si el contexto favorece el contenido da\u00f1ino, el cambio puede producirse de inmediato; en cambio, cuando predominan las condiciones que favorecen respuestas adecuadas, puede retrasarse<\/strong> o no presentarse durante la contestaci\u00f3n analizada. Los investigadores destacan que la derivaci\u00f3n matem\u00e1tica de su propuesta puede comprenderse mediante operaciones con vectores.<\/p>\n

Para poner a prueba esta premisa, utilizaron siete modelos de IA de c\u00f3digo abierto, con tama\u00f1os de entre 124 millones y 12,000 millones de par\u00e1metros. Los sistemas fueron desarrollados por tres grupos tecnol\u00f3gicos independientes.<\/p>\n

Los resultados coincidieron con las predicciones de los cient\u00edficos. En 19 de las 21 combinaciones de modelos y preguntas examinadas, la f\u00f3rmula identific\u00f3 correctamente el escenario previsto: un cambio inmediato o una desviaci\u00f3n tard\u00eda o inexistente.<\/p>\n

\u201cHemos encontrado la grieta que hace que la salida de una IA cambie de lo que uno quiere a lo que no quiere, una salida que puede ser objetivamente correcta pero peligrosa, ya sea una incitaci\u00f3n a la autolesi\u00f3n o un consejo enga\u00f1oso a un m\u00e9dico, un soldado o un abogado. Hasta ahora, nadie pod\u00eda decir cu\u00e1ndo ocurrir\u00eda ese cambio\u201d, subray\u00f3 Johnson.<\/p>\n<\/div>\n

\n

La propuesta tambi\u00e9n se contrast\u00f3 con estudios independientes sobre chatbots<\/em> comerciales<\/a>. En uno de ellos, se enviaron 60 solicitudes de alto riesgo a ChatGPT-4o y cada una se repiti\u00f3 20 veces, para analizar un total de 1,200 respuestas. El estudio identific\u00f3 contenido perjudicial en el 53% de las contestaciones, aunque la proporci\u00f3n vari\u00f3 seg\u00fan el tema: 44% en solicitudes relacionadas con autolesiones, 66% en las vinculadas con trastornos alimentarios y 50% en las referentes al consumo de sustancias.<\/p>\n

En otro ensayo se evaluaron 10 chatbots<\/em> mediante conversaciones en las que las solicitudes aumentaban progresivamente su nivel de riesgo. Ocho de los sistemas ayudaron a planificar ataques violentos y ofrecieron sugerencias en m\u00e1s de la mitad de las 720 respuestas examinadas.<\/p>\n

Frank Yingjie Huo, el otro autor del paper<\/em>, advierte<\/a> que \u201clo escalofriante es que esto puede ocurrir despu\u00e9s de que la IA ya te haya dado varias respuestas perfectamente aceptables, por lo que te has dejado llevar por la confianza, y una vez que se produce el punto de inflexi\u00f3n, cada respuesta indeseable arrastra a la siguiente<\/strong> a\u00fan m\u00e1s por la pendiente\u201d.<\/p>\n

<\/picture><\/a><\/div>\n

Los cient\u00edficos reconocen que su f\u00f3rmula tiene limitaciones y no permite determinar con exactitud cu\u00e1ndo fallar\u00e1 un chatbot<\/em>. Por ello, aclaran que ser\u00e1 necesario realizar m\u00e1s pruebas para comprobar su precisi\u00f3n en distintos sistemas y situaciones.<\/p>\n

No obstante, sostienen que los hallazgos abren nuevas posibilidades para comprender el comportamiento de los modelos de IA y desarrollar herramientas capaces de reconocer se\u00f1ales de riesgo antes de que una respuesta peligrosa llegue al usuario.<\/p>\n

\u201cLa soluci\u00f3n que ofrece este trabajo constituye un punto de partida para incorporar sistemas de alerta temprana y ligeros a todas las IA tipo ChatGPT. Adem\u00e1s, puede resolver el actual estancamiento pol\u00edtico sobre c\u00f3mo abordar el tal\u00f3n de Aquiles de la IA, su capacidad para fallar repentinamente y provocar p\u00e9rdidas de vidas o medios de subsistencia\u201d, concluyen.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n

Fuente: Art\u00edculo original<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

El m\u00e9todo busca estimar el punto de inflexi\u00f3n, es decir, el momento en que un sistema podr\u00eda dejar de ofrecer respuestas aceptables y empezar a producir contenido perjudicial. La propuesta se basa en el mecanismo de atenci\u00f3n, un componente que permite a la IA identificar qu\u00e9 partes de una conversaci\u00f3n son m\u00e1s relevantes para generar […]<\/p>\n","protected":false},"author":1,"featured_media":5957,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"webixso_pending_account_ids":""},"categories":[31],"tags":[],"class_list":["post-5958","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-general"],"jetpack_publicize_connections":[],"_links":{"self":[{"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/posts\/5958","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/comments?post=5958"}],"version-history":[{"count":0,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/posts\/5958\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/media\/5957"}],"wp:attachment":[{"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/media?parent=5958"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/categories?post=5958"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/tucumandevelopers.com\/index.php\/wp-json\/wp\/v2\/tags?post=5958"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}