“No existe la supuesta amenaza existencial de la IA”, dice la investigadora que se opone a las tecnológicas

Por ejemplo, el Future of Life Institute (FLI)…

Espera, ¿qué es eso?

El Future of Life Institute (Instituto del Futuro de la Vida) es una organización fundada por Max Tegmark, físico que actualmente trabaja en el MIT, y Jaan Tallinn, un multimillonario que lideró la ronda de financiamiento Serie A de Anthropic.

Fue cofundador de Skype, ¿correcto?

Sí. Jaan Tallinn también financia a METR, que es una compañía auditora, cuyo informe sobre los supuestos agentes deshonestos de OpenAI que piratearon Hugging Face se hizo viral.

Así pues, para el público podría parecer que muchas entidades diferentes se unen para decir lo mismo. Pero los mismos multimillonarios que fundaron y financiaron Anthropic, quienes más se beneficiarán de su salida a bolsa, también fundaron y financiaron las instituciones que advierten sobre el, entre comillas, “riesgo existencial” de la IA. Asimismo, fundaron y financiaron a los terceros que ahora se citan con tanta frecuencia como si fueran entidades independientes.

Cuéntanos por qué crees que la “narrativa del dios máquina”, como tú la llamas, es una distracción.

Es incluso más que una distracción. Es perjudicial. La razón por la que les contaba todos estos datos es que estas personas, los financiadores, los fundadores, los inversores que más se benefician de la salida a bolsa de estas empresas, aseguran que han sido ellos quienes han estado difundiendo esta narrativa durante décadas.

Entonces, la gente debería preguntarse por qué. Si puedo ganar mucho dinero con algo en particular, ¿por qué parezco ser la persona que dice que esta empresa podría construir algo que nos mate a todos? Suena contradictorio.

Por eso le tengo tanto respeto a Lina Khan [expresidenta de la Comisión Federal de Comercio], porque una de las cosas que señaló es que no hay excepciones a las leyes vigentes para las empresas de IA, y ellos hablan como si las hubiera. Dicen que lo que sea que estén creando es tan poderoso que supera todo lo que hemos visto antes.

Exacto. Es pretencioso. Es como decir que somos los creadores del futuro, pero el futuro va a ser realmente aterrador si no podemos seguir construyendo esto.

Hay que prestar atención a lo que dicen en los noticieros. Cuando resaltan que la IA puede suponer un riesgo existencial, también indican que puede detener el cambio climático, traer la paz mundial y erradicar la pobreza.

La IA puede hacer todo esto porque es poderosa. Puede llevarnos a la utopía, pero si la usan las personas equivocadas y no tenemos límites ni medidas de seguridad, también puede acabar con todos nosotros. Así que las mismas personas creen en estas cosas.

Cuando dices que tienes máquinas superpoderosas, en primer lugar les estás hablando a tus inversionistas. Les estás diciendo: “Quieren tener acceso a estas máquinas tan poderosas”. También les hablas a los gobiernos: “No quieren que sus adversarios tengan acceso a estas máquinas; quieren tenerlas ustedes”. Y, al mismo tiempo, les estás diciendo a los organismos reguladores que cualquier regulación que estén considerando debería centrarse en esas supuestas máquinas superpoderosas.

Si hablamos de la posible aniquilación de toda la humanidad, cosas como la contaminación y los centros de datos parecen insignificantes, ¿verdad? ¿Y si hablamos de la protección de los derechos de autor para los artistas, de demandas reales que están en curso ahora mismo? El gobierno no debería perder el tiempo pensando en estas cosas. Y si pierden el tiempo regulándonos en estos temas menores, corren el riesgo de que China se apodere de las máquinas superpoderosas. Y eso no es lo que quieren. Confíen en nosotros, podemos construir un dios máquina que nos ayude, y les decimos que queremos que nos regulen.

Bien.

Esa es la primera. La segunda cuestión es que siempre puedes eludir tu responsabilidad.

En nuestras conversaciones anteriores, hemos hablado sobre el uso de ciertos términos o frases para describir esta era moderna de la IA y cómo tú discrepas con algunos de ellos. Por ejemplo, en nuestra conversación anterior, mencionaste las armas autónomas. Después de la publicación, me comentaste que luego te arrepentiste de haberlo dicho porque lo habrías expresado de otra manera. Hemos hablado del P(doom). Hemos hablado de cómo, al afirmar que los agentes se han descontrolado, estás eximiendo de responsabilidad a los ingenieros que crearon esas herramientas.

Me pregunto si existen grupos que, en realidad, están más alineados de lo que creen en lo que respecta a la seguridad y la transparencia, pero que utilizan frases diferentes para describir lo que esencialmente es lo mismo.

Una de las razones por las que lamento haber dicho esto no es que tenga ningún problema con el término “armas autónomas”. Es un término legal. Incluso las minas terrestres se consideran legalmente armas autónomas. Simplemente, quienes pertenecen al llamado grupo del riesgo existencial lo han apropiado para darle un significado diferente.

Cuando mencioné el término, lo supe. Pensé: “¿Se interpretará de esa manera?”. Y así fue, porque quienes hablaban de los riesgos existenciales de la IA lo interpretaron como lo que ellos dicen, ¿verdad? Es decir, como una especie de máquina superhumana y superinteligente que hace cosas por sí sola.

Tuve la oportunidad de estar en la Asamblea General de la ONU la semana pasada. Participé en una mesa redonda paralela, por lo que no me permitieron el acceso a la Asamblea General ni al Consejo de Seguridad. Sin embargo, intervinieron muchos líderes tecnológicos de alto nivel. Tanto Sam Altman como Dario Amodei hablaron sobre la necesidad de cooperación global para abordar los riesgos existenciales para la humanidad. Según se informa, Dario dijo: “Si se gestiona mal, creo que la IA podría incluso representar un riesgo para la humanidad en su conjunto”. Su competidor, Sam Altman, afirmó: “Podríamos perder el control del futuro a manos de la IA”. Entonces, ¿cómo es posible que estas personas, con empresas cuyos intereses comerciales se dedican a vender IA, estén ahora en el escenario mundial de la ONU diciendo: “No lo sé. Podría haber algunos riesgos”? ¿Es esto parte de la captura regulatoria [una falla en la que un organismo público de control termina protegiendo los intereses particulares de la industria que debe regular]? ¿Buscarán formas de autorregularse antes de que haya una verdadera represión regulatoria al respecto?

Por supuesto, forma parte de la captura regulatoria.

¿Qué se puede hacer? ¿Qué tipo de gobernanza crees que se necesita para la IA?

Esta captura regulatoria lleva ocurriendo desde hace mucho tiempo.

En 2023, lo mismo. Sam Altman dijo lo mismo. Necesitamos cooperación mundial, etcétera, etcétera. La Ley de IA de la UE lo reguló, y luego amenazó con retirarse de la UE. Así que solo hay que ver qué han hecho realmente. Cuando hay una ley que realmente los regula por las cosas reales que hacen y los responsabiliza, amenazan con retirarse o presionan muchísimo para que se debilite esa regulación.

Por otro lado, andan por ahí diciéndoles a estos organismos multilaterales que tiene que haber cooperación mundial, etcétera, etcétera. Y, ¿qué están logrando con esto? Se están vendiendo como organizaciones que crean la llamada superinteligencia, ¿no? Eso ya es marketing.

También están infundiendo miedo en todos respecto a cualquier otro creador de este tipo de dispositivos. Por eso no quieren modelos de peso abierto procedentes de China. No quieren esta competencia. No sigo de cerca la normativa china, pero no se trata de un riesgo existencial. Se trata de deepfakes, y se trata de problemas reales que deben regularse.

La primera estrategia consiste en promocionarse como creadores de cosas superpoderosas e inéditas para las que no existe regulación, lo cual no es cierto. Sí existen regulaciones. La segunda estrategia es lo que hacen cuando alguien intenta hacer cumplir la regulación existente: amenazan con retirarse o presionan intensamente para que no exista dicha regulación. Por eso sigo volviendo a lo de hace 10, 5 o 3 años, porque es lo mismo. En mi libro, digo que es “la misma película repetida con diferentes protagonistas”.

Entonces, ¿cuál sería la solución para la gobernanza en este momento si tuvieras que proponerla?

Cosas muy, muy sencillas. Para empezar, no soy experta en derecho, pero la excomisionada de la Comisión Federal de Comercio (FTC), Lina Khan, describió cinco puntos. Uno de ellos son las prácticas de marketing engañosas. Como saben, existe una ley sobre prácticas de marketing engañosas y se puede demandar a las empresas por ello.

El segundo punto es la transparencia y la documentación. Antes de publicar algo, deberían poder explicarnos de dónde provienen todos los datos y documentarlos. Esta simple cuestión no la cumplen. Les aseguro que lucharán con uñas y dientes para cumplir con lo más básico: documentar los datos.

La explotación laboral de los trabajadores de datos es otro tema del que no quieren hablar.

Estamos aquí, en el mundo, en las nubes, hablando de superinteligencia, donde cientos de millones de personas en todo el mundo etiquetan datos minuciosamente, incluso fingiendo ser chatbots.

Correcto. 404 Media informó recientemente que el nuevo chatbot de Meta, Muse, cuando se utiliza para ciertos casos prácticos, en realidad cuenta con una persona al otro lado que responde.

Sí, muy sencillo. Transparencia de datos, explotación laboral: no se debería poder robar datos de las personas. Incluso las tres primeras cosas que mencioné (transparencia de datos, documentación, explotación laboral), si tuvieran que cumplir con leyes como esas y no se les permitiera robar datos sin documentarlos, ahora mismo el cálculo del mercado no cuadra. Pero con estas medidas adicionales, simplemente no cuadraría en absoluto. Automáticamente se ralentizarían y tendrían que rendir cuentas por algo.

En 2021, fuiste coautora de un artículo titulado “Sobre los peligros de los loros estocásticos“.

Google lo aprobó inicialmente, pero luego se sometió a revisión. Algunos puntos generaron controversia. En cierto momento dijiste: “Miren, si quieren que retire mi nombre de esto, no voy a participar”. Finalmente, dejaste Google. Ese documento se presentó posteriormente en la Conferencia ACM de 2021 sobre Equidad, Responsabilidad y Transparencia, y aún se sigue citando.

¿Podrías explicar brevemente, para alguien que nunca ha oído hablar de los loros estocásticos, qué tiene que ver con la IA que utilizamos hoy en día y qué significa?

El modelo de loros estocásticos es una metáfora que ayuda a comprender el funcionamiento de los grandes modelos de lenguaje. Estos modelos se entrenan con enormes cantidades de datos textuales de internet para generar las secuencias de texto más probables a partir de dichos datos. Son la base de la mayoría de los chatbots que vemos hoy en día, como Claude o ChatGPT.

Cuando escribí este artículo, ChatGPT aún no se había lanzado, pero ya presenciábamos la carrera por construir modelos de lenguaje cada vez más grandes. Así pues, el peligro de construir modelos de lenguaje cada vez más grandes es precisamente lo que describíamos en este artículo.

¿Que básicamente imitarían a la gente?

Entonces, repetir como un loro es repetir sin entender, ¿verdad? También existía toda una narrativa de riesgo existencial en aquel entonces, aunque parezca increíble. OpenAI afirmaba que GPT-2, el precursor de GPT-3 que impulsa ChatGPT, era demasiado peligroso y potente para ser lanzado. Se debatía si los GPT podían ser éticos o si eran creativos y demás. Así que queríamos centrar la conversación en los problemas reales.

Uno de estos problemas es la catástrofe ambiental, que mucha gente está presenciando ahora, y ese fue uno de los principales aspectos que generó descontento en Google: el costo ambiental. El otro problema es no documentar los datos porque se dice que hay demasiados datos para documentar.

La otra consiste en engañar a la gente haciéndoles creer que hay una mente detrás de los textos con los que interactúan. Ahí es donde queríamos explicar que estos sistemas repiten los patrones de sus datos de entrenamiento.

Mm-hmm.

Es muy peligroso generar texto de esa manera, porque cuando se trata de un texto que suena plausible o muy fluido, pueden surgir muchos problemas, además de creer que hay una mente detrás de una máquina. En ese artículo, dimos un ejemplo de un palestino que escribió “buenos días”, que se tradujo como “ataquen”.

Debido a esa corrección gramatical, no había indicios de que la traducción pudiera ser errónea, y la gente la creyó. Así que el otro problema de creer que hay una mente detrás de la máquina es lo que llamamos “sesgo de automatización”. Confiamos demasiado en los sistemas automatizados, y si creemos que esta máquina es omnisciente, entonces confiaremos demasiado en los errores que se produzcan, ¿verdad?

Es gracioso. Debo ser demasiado millennial porque dices que hay demasiada confianza en la automatización, y yo soy muy desconfiada. Si llamo al banco y atiende un robot, digo: “No, no”.

“No quiero hablar con eso.” Exacto.

Uno de los cofundadores de Anthropic, Jack Clark, publicó recientemente algo en X. Básicamente, puso “loro estocástico” entre comillas y dijo que era un virus cognitivo meméticamente apto que se propagó desde 2021, cuando se publicó el artículo, hasta 2025.

Según él, esto cegó temporalmente a muchas personas brillantes ante la naturaleza del progreso de la IA y desperdició años cruciales de investigación. Más adelante, afirma que el uso de este enfoque provoca que la gente subestime considerablemente las capacidades y limitaciones de los sistemas de IA.

Cuando viste la publicación de Jack en X, ¿cuál fue tu reacción inicial?

No me sorprendió, déjame decirte.

Este es un tema de conversación que [los altruistas efectivos] están planteando a los legisladores ahora, porque cada vez que yo decía algo, ellos decían: “Oh, no deberías tomar en serio a alguien que todavía se cree el tema de los loros estocásticos en 2026”.

La idea es que la investigación está desactualizada, ¿verdad?

Sí. Y no lo está. Es tan ridículo que estemos diciendo esto, porque estas son definiciones de lo que son los grandes modelos de lenguaje.

La naturaleza de los modelos de lenguaje a gran escala no ha cambiado ni cambiará jamás. Los modelos de lenguaje a gran escala son, en esencia, eso, modelos de lenguaje a gran escala. Ahora bien, es posible que existan modelos de lenguaje a gran escala en sistemas independientes, que incorporan agentes de aprendizaje por refuerzo. Sin embargo, nuestro artículo trataba sobre modelos de lenguaje a gran escala, y esa esencia permanece inalterable.

Y estos chatbots aún se basan en modelos de lenguaje complejos. Es ridículo que Jack Clark hable de sobreestimar los sistemas, porque lo que veo son los ejemplos que acabo de mencionar. Se trata de confiar demasiado en estos sistemas, de no tener controles ni contrapesos, y de acabar diagnosticando erróneamente el cáncer de mama de una persona.

Existe una relación directa entre que los modelos LLM sean, esencialmente, loros estocásticos, y que una herramienta de IA proporcione un diagnóstico médico erróneo. ¿Por qué? ¿Cómo se relaciona una cosa con la otra?

Los loros estocásticos no entienden lo que hay dentro del texto, así que no se puede esperar que sean objetivos.

Incluso si ves algo como la descripción general de la IA. Llamé a un amigo oncólogo para preguntarle sobre un medicamento específico y si era apropiado para un uso concreto, porque había leído un artículo académico que decía que no lo era, y quería confirmación. Y mi amigo oncólogo me dijo: “Mira la descripción general de Google. Dice que es apropiado”. Pero resultó que no lo era.

Me encuentro con eso todo el tiempo con las reseñas de IA de Google.

Porque son loros estocásticos entrenados para ofrecerte las secuencias de texto más probables basándose en sus datos de entrenamiento.

Emily M. Bender lleva mucho tiempo intentando decir esto en muchísimos idiomas.

También es una de las coautoras de tu artículo, ¿correcto?

Sí. Decir que la investigación está desactualizada es ridículo porque ahora mismo, mientras le damos tanta importancia a la superinteligencia y todo eso, hay noticias que pasan desapercibidas, que tratan sobre el escenario completamente opuesto al que está ocurriendo en el mundo real.

Entiendo que una de las principales críticas que se le han hecho a la investigación de esa época es que quizás no incorpore el pensamiento, el razonamiento o incluso la inteligencia recursiva…

No hay razonamiento. No hay inteligencia recursiva.

¿No hay ninguna? ¿Cómo es posible que no haya ninguna? Esto es algo que, por cierto, en la conferencia de IA de Berkeley a principios de este verano escuché a alguien de Google hablar sobre inteligencia recursiva.

¡Por supuesto que sí!

El New York Times acaba de publicar un extenso artículo sobre cómo los científicos e investigadores están explorando actualmente la inteligencia recursiva, es decir, la IA aprendiendo de otras IA. ¿Es eso una realidad? Parece que tú afirmas que no lo es.

No, porque hay un problema con los investigadores de IA, que es la denominación ambiciosa y las cosas ambiciosas. Así que el aprendizaje automático es un ejemplo de denominación ambiciosa.

Pero el aprendizaje automático es real.

Pero el nombre es una aspiración. La máquina no necesariamente existe.

Así que, solo porque exista un currículo de aprendizaje en IA, ya es un campo de estudio. Pero déjenme compartirles un artículo de mi antiguo jefe, Samy Bengio, una superestrella del aprendizaje automático, aunque no tan famoso como su hermano mayor, Yoshua. Le pregunto: “¿No estás cansado de pasarte la vida refutando el razonamiento en cada artículo que escribes?”.

Renunció después de que me despidieran de Google, y ahora es jefe de investigación de aprendizaje automático en Apple. Si analizas casi todos sus artículos, verás que si modificas ligeramente los parámetros de razonamiento, todo se desmorona. No es razonamiento.

Entiendo.

Permítanme darles otro ejemplo. Simplemente porque sus modelos, los patrones estocásticos que entrenaron para imprimir ciertos tokens, los llaman “razonamiento en cadena de pensamiento”. No sabían que estaban pensando, no sabían que era una cadena, solo sabían que se estaban imprimiendo tokens, pero los llamaron razonamiento en cadena de pensamiento. Ahora están diciendo que ya están razonando.

Una de las mayores crisis que enfrentamos actualmente es la falta de investigación científica sólida. Si analizamos mi trabajo, si alguna vez tuviera acceso a los datos, el código, los datos de entrenamiento y los datos de evaluación (ninguna de estas empresas los proporciona), ni siquiera sabríamos si utilizaron o no ese punto de referencia durante el entrenamiento.

Si se utiliza un punto de referencia durante el entrenamiento, es como estudiar para el examen. Es como si yo llegara a un examen sabiendo de antemano las respuestas a las 10 preguntas, las estudiara y las anotara, ¿verdad? Cada vez que he tenido acceso a este tipo de información, he demostrado que sus afirmaciones son incorrectas.

Pero luego, con el artículo de Samy Bengio y su equipo, lo que demostraron (y esto es de 2025) es que basta con cambiar un poco los parámetros de referencia, ajustarlos un poco, y todo se desmorona, demostrando que simplemente se estaba confiando en los patrones. Ahora bien, algunas personas, cuando les doy este ejemplo, dicen: “Bueno, pero estamos hablando de modelos de 2026”.

¿Adivina qué? La evaluación científica rigurosa requiere tiempo. No deberíamos limitarnos a que los comunicados de prensa los repitan los legisladores y los periodistas hagan eco de esas afirmaciones. Si se quiere realizar una investigación y evaluación rigurosas, es fundamental solicitar los datos de entrenamiento, los datos de evaluación y la metodología para que todos podamos reproducirla.

Entonces, el pensamiento, el razonamiento, la inteligencia recursiva… parece que aún lo consideras algo puramente humano. Así es como funcionan nuestros procesos neuronales, pero la IA todavía no funciona de esa manera. Eso es lo que crees.

No sé si alguna vez lo hará… Igual que la inteligencia, es una denominación ambiciosa. Para que la gente vuelva a estos ciclos de exageración, a veces juego a esto. Les cuento una afirmación que se hizo y les pregunto: “¿Estamos en 1954 o en 2024?”.

¿Cuál dirías que es la parte más importante de tu propio pensamiento, de tu propia investigación, que ha evolucionado desde principios de la década de 2020 en el campo de la IA hasta ahora, y que es lo que más te ha sorprendido?

Tengo que dedicarme activamente a crear espacio para los modelos que creo que deberían construirse y a construirlos, ignorando las distracciones. Esa es la conclusión a la que estoy llegando.

Ese es tu mayor aprendizaje, tu mayor conclusión.

Sí.

Hay tanto ruido en internet ahora mismo que es difícil concentrarse en cualquier trabajo importante si uno se limita a prestar atención a lo que dicen los expertos en inteligencia artificial.

Incluso si tu investigación, a estas alturas, se centra en desacreditar lo que dicen, ¿sabes? Se vuelve agotador.

Bien.

No es divertido hacer eso. Es más divertido pensar en el futuro que quieres tener, en los avances tecnológicos que deseas, y trabajar para lograrlo.

¿Qué es lo que te da más esperanza ahora mismo para el futuro de la IA?

Quiero decirles que tenemos una lista llamada Lista de Resistencia a la IA, donde hablamos de personas que se resisten, de las maneras en que deberían resistirse: en la captura de medios, la narrativa, los centros de datos, la financiación, etcétera.

Así que enumeramos las formas en que se resisten, y también a las personas que crean futuros tecnológicos alternativos que no destruyen nuestro medio ambiente, que no explotan la mano de obra ni roban datos, y que en cambio ayudan activamente a sus comunidades, y estas ideologías se están extendiendo, ¿verdad? Ves a una pequeña organización en algún lugar haciendo algo, te inspiras en ella y haces algo diferente.

Así que tengo la esperanza de que haya mucha gente cansada de lo que ve y que, en pequeños grupos, estén haciendo algo diferente. Creo en la capacidad de acción humana y en el poder colectivo para imaginar un futuro mejor, evitar que sucedan cosas malas y prohibir lo que sea perjudicial.

Creo que mi fe en la capacidad de acción humana es lo que me da esperanza.

Artículo originalmente publicado en WIRED.com. Adaptado por Mauricio Serfatty Godoy.