El dilema del prisionero que puede acabar con la humanidad

Una noticia de Bloomberg afirma que Sam Altman está considerando la posibilidad de pausar el desarrollo de la inteligencia artificial de forma conjunta con otros laboratorios, pero realmente, las cosas están muy lejos de estar ahí. La realidad no es que Altman quiera parar, sino que únicamente considera viable hacerlo si el resto de las compañías de inteligencia artificial frenan también, un acuerdo prácticamente imposible de lograr, de concretar y de controlar. El propio Altman afirma, de hecho, que algunos laboratorios no lo aceptarían, y reclama estándares comunes para todos. Esta circunstancia convierte esta aparente decisión ética en un problema de coordinación: nadie quiere seguir acelerando hacia algo potencialmente incontrolable, pero nadie puede permitirse una pausa mientras otros continúan.

La situación encaja casi literalmente en el conocido dilema del prisionero de la teoría de juegos. Para cada compañía, continuar el desarrollo a la mayor velocidad posible es la estrategia aparentemente racional. Pero si los demás paran, quien continúa obtiene mejores modelos, atrae más talento, más clientes, contratos públicos y posiblemente un efecto pionero capaz de dar lugar a una ventaja competitiva sostenible. Si las demás continúan, parar significa quedar fuera de la carrera, pero si todas apuestan por esa decisión racional, producen el peor resultado posible: una carrera en la que los controles y la seguridad llegan siempre tarde. RAND lo ha modelizado explícitamente: mientras el beneficio percibido de ser el primero supere al riesgo percibido, acelerar seguirá siendo el equilibrio, incluso aunque todos, individualmente, prefiriesen la opción de una carrera intrínsecamente más segura.

Anthropic es la demostración empírica perfecta: en febrero eliminó de sus políticas de seguridad la cláusula de no entrenar modelos sin suficientes mitigaciones, y su responsable lo explicó fríamente afirmando que una promesa unilateral no tenía sentido si los competidores seguían acelerando. En junio, la compañía afirmó que la pausa sería deseable, pero sólo si incluía a los demás laboratorios y si se podía verificar que nadie la aprovechaba para adelantarse. Están describiendo exactamente el incentivo para abandonar un posible acuerdo.

La carrera, además, funciona exactamente igual para compañías y para países en su conjunto: retrasar un lanzamiento para hacer más pruebas puede hacer que pierdas mercado frente a competidores menos prudentes que tú, y los gobiernos tienen esa misma presión si creen que otros países no adoptarán protecciones similares. Una carrera hacia abajo, pero en dos pisos: en uno, OpenAI contra Anthropic, Google, xAI o los laboratorios chinos. En el otro, los Estados Unidos, China, Reino Unido y Europa compitiendo por no depender tecnológicamente del vencedor. Simplemente demencial.

El caso del Reino Unido es especialmente ilustrativo: su gobierno acaba de rechazar imponer un kill switch obligatorio para modelos de inteligencia artificial potencialmente peligrosos, porque impedir el acceso dentro del país no evitaría que esos modelos fuesen desarrollados o utilizados en otros países. Conviene que distingamos una pausa en el desarrollo de un kill switch, pero en la práctica, estamos ante las mismas razones, las mismas premisas, y el mismo peligro. Al final, que el propio gobierno rechace forzar a las compañías a otorgar al mismo gobierno facultades de emergencia para ordenar la desconexión de sistemas o centros de datos bajo jurisdicción británica no deja de ser algo un poco contraintuitivo.

Los informes actuales afirman que los modelos actuales aún no tienen las capacidades necesarias para provocar una pérdida de control irreversible, y muchos expertos discrepan con la distribución de probabilidad de un evento así. Pero por otro lado, identifican progresos en autonomía, en capacidad de engaño, en consciencia situacional, en evasión de la supervisión y en la posibilidad de que obtengan autorreplicación, y admiten posibles escenarios que podrían llevar a un escenario de extinción. Básicamente, un riesgo incierto, y unas consecuencias potencialmente absolutas.

¿Cómo se sale de esto? La salida no está en pedir a los directivos y a las empresas que tengan mejores sentimientos, sino en cambiar los incentivos. Necesitamos urgentemente umbrales obligatorios basados en capacidades, organismos y sistemas de evaluación independientes, acceso de las autoridades a los modelos, estándares de notificación de incidentes, controles sobre los grandes entrenamientos y mecanismos internacionales de verificación, en la línea del Seoul Summit de 2024, pero no voluntarios, sino sujetos a reglas claras y a compromisos exigibles. Además, en muchos casos, una simple declaración o un reconocimiento posterior de un incidente de seguridad puede simplemente no servir para nada: necesitamos salvaguardas, supervisión en tiempo real y planes de respuesta. La verificación es susceptible de cambiar el juego al reducir la posibilidad de que cooperar con las restricciones o las pausas signifique convertirse en el más tonto de la carrera.

Sinceramente, esto parece el argumento de una película, pero con un toque muy inquietante: el malo no es una máquina superinteligente que decide eliminar a la raza humana, sino un sistema de incentivos perfectamente humano que literalmente obliga a personas, compañías y hasta gobiernos a seguir con una carrera que ellos mismos describen como potencialmente terminal. Todos quieren frenar, todos ven el precipicio, pero todos mantienen el pie en el acelerador porque temen que el de al lado no haga lo mismo. Y así, por una lógica individualmente racional y colectivamente demencial, seguimos acercándonos a un final que nadie desea, pero que nadie parece dispuesto a impedir por sí solo.

In English on Medium, «In the AI race, everyone knows the danger, but nobody is prepared to slow down»