El momento en que Hinton empezó a tener razón

Jacob Coxon, investigador que trabajó en el entrenamiento de modelos en OpenAI y en Anthropic, presenta su dimisión y afirma en X que ambas compañías están «avanzando a toda velocidad hacia una superinteligencia capaz de automejorarse». Dos personas de Anthropic, Evan Hubinger y Samuel Marks, lo refrendan públicamente asignando una probabilidad de un 10% a que la inteligencia artificial acabe con la humanidad en los próximos diez años, y afirmando que internamente, los investigadores más senior están aún más preocupados.

Cuando Geoffrey Hinton abandonó Google en 2023 tras manifestarse abiertamente sobre los peligros de la tecnología, muchos lo ridiculizaron o, como fue mi caso, afirmamos que, si bien podía ser así, eso era algo imposible de detener dada la configuración de intereses y las dinámicas competitivas de la propia humanidad. En diciembre de 2024, Hinton revisó sus predicciones y otorgó entre un 10% y un 20% a la posibilidad de que la inteligencia artificial provocase la extinción de la humanidad en treinta años. Ahora no es sólo Hinton: los investigadores y las personas que trabajan directamente en la mejora de los últimos modelos de inteligencia artificial están enormemente preocupados al ver sus capacidades, la posibilidad de que se vuelvan más inteligentes que los humanos, y que terminen por tomar decisiones autónomas.

Ya hemos visto lo que la inteligencia artificial es capaz de hacer cuando se descuidan unas mínimas precauciones, y hemos visto también lo que NO ha pasado después: ningún tipo de freno, de regulación o de imposición a esas compañías irresponsables que pudiese frenar de alguna manera el peligro. Simplemente NA-DA (no vaya a ser que pongamos en peligro el avance de la tecnología, o la ventaja competitiva del país, o la seguridad nacional, o qué sé yo).

Cuando la inteligencia artificial pasa a construirse a sí misma, superamos los puntos de control que teníamos como humanos, y pasamos a ser simples espectadores con un patético enchufe en la mano, pensando que «basta con desenchufarlo». Anthropic afirma que esto no ha pasado todavía y que no es inevitable, pero también avisa de que podría llegar mucho antes de que las instituciones estén preparadas para ello. Repetimos: una vez que la inteligencia artificial es capaz de mejorar recursivamente los sistemas que llevan a cabo la investigación para la inteligencia artificial, el progreso de sus capacidades deja de tener lugar a una velocidad controlable por los humanos o por sus políticas.

No es cuestión de Skynets ni de Terminators que vienen del futuro. Las hipótesis creíbles son, en realidad, mucho más prosaicas: ciberataques automatizados contra infraestructuras críticas, asistencia en el desarrollo de armas biológicas, manipulación estratégica de los humanos, adquisición y replicación de recursos, o simplemente, una pérdida de poder paulatina de los seres humanos. El concepto crucial no es el odio ni la conciencia, sino la simple convergencia instrumental: un sistema lo suficientemente capaz puede descubrir que obtener acceso, ocultar sus intenciones o evitar su desactivación le ayuda a cumplir cualquier objetivo que se le haya asignado. Los estudios de laboratorio ya indican que los modelos más capaces pueden idear estrategias más sofisticadas y reconocer cuándo están siendo evaluados, aunque aún no sepamos cómo trasladar esos experimentos a verdaderos riesgos en el mundo real. Pero están ya ahí.

¿Hay forma de parar esto? No como imposibilidad física, pero sí como trampa de coordinación o dilema del prisionero: como dije en su momento, nadie va a hacerlo. Anthropic puede pensar que ralentizar o pausar el desarrollo sería racional, pero teme a OpenAI, y OpenAI a su vez tiene miedo de Anthropic, de Google y de China. Al tiempo, los gobiernos temen perder liderazgo económico y militar, y consecuentemente, cada participante puede pensar que el resultado es potencialmente muy peligroso, pero considerar una parada unilateral como un suicidio.

Sí, tenemos mecanismos de actuación concretos: monitorización de la actividad de las compañías, políticas agresivas de licenciamiento, reporte de incidentes obligatorio, evaluaciones independientes, límites a la capacidad de los modelos o verificación internacional de las pausas. Hay iniciativas en los Estados Unidos, como la FRONTIER Act proposal o la propuesta más radical de Bernie Sanders y Greg Casar para pausar la inteligencia artificial avanzada y prohibir la superinteligencia, o en el Reino Unido con una propuesta de ley para prohibir la superinteligencia artificial aún pendiente de tramitación parlamentaria, pero la conclusión parece clara: aunque tengamos frenos, no tenemos ningún conductor dispuesto a pisarlos globalmente. Y mientras tanto, el coche está acelerando.

Buena suerte.

In English on Medium, «Was anybody listening when Geoffrey Hinton warned us about AI? Seems not»