SynthID, marcas de agua y otras herramientas de la paranoIA

Sofía Pérez, de Newtral, me envió un correo para interesarse por mi opinión sobre la tecnología SynthID, creada por Google DeepMind como una forma de generar marcas de agua invisibles en sus contenidos de texto, imagen o de otros tipos, con el fin de poder detectarlas posteriormente y establecer si fueron o no creados mediante inteligencia artificial. Tras contestar a su correo, me puse a juguetear con la herramienta y la verdad es que me gustó lo que dijo cuando le pregunté si mi artículo del día anterior estaba escrito con inteligencia artificial…

Mi impresión con este tipo de cosas es que, si bien técnicamente pueden tener su interés, nos están llevando a una paranoia absurda, a una actitud de sospecha permanente que resulta no sólo enormemente incómoda, sino que además, asume que lo creado mediante inteligencia artificial carece de valor o tiene un valor intrínsecamente inferior, lo cual es en muchos casos una estupidez. Obviamente, se puede utilizar la inteligencia artificial muy mal y simplemente copiar y pegar el output que entrega (y posiblemente buena parte de los usuarios la utilicen así), pero asumir que lo que toca la inteligencia artificial de alguna manera «se desvaloriza» es conceptualmente incorrecto, y nunca en la historia de la tecnología ha resultado una tendencia viable.

Lo he comentado ya en numerosas ocasiones: si escribo para aprender, pedirle a la inteligencia artificial que escriba por mí no tendría sentido, porque simplemente no aprendería nada. Pero pedirle que me ayude a hacer investigación y selección de fuentes, que me sugiera mejoras y puntos de vista adicionales, o que me corrija posibles errores tipográficos o gramaticales, en cambio, puede tener mucho sentido, y es algo que, además, hago habitualmente. ¿Podría llegar un momento en que ese tipo de herramientas, en pleno frenesí detectivesco, me acusase de que mis artículos están escritos con inteligencia artificial? No son pocos, de hecho, los idiotas que se han asomado a mis comentarios para acusarme de ello. ¿Nos llevaría eso a situaciones absurdas, como a insertar deliberadamente errores tipográficos para «parecer humano», o a utilizar contra-herramientas que eliminan marcas de agua o generan un estilo «más humano»? Francamente, me parece una deriva muy poco productiva.

Ayer 27 de junio, Sofía publicó su artículo titulado «Qué es y cómo funciona SynthID, la marca invisible que identifica los contenidos creados con IA» (pdf), en el que me cita.

A continuación, mi contestación al correo de Sofía:

SynthID es una tecnología desarrollada originalmente por Google DeepMind para insertar marcas de agua invisibles en contenidos generados mediante inteligencia artificial. La idea es relativamente sencilla: introducir en el contenido generado una señal imperceptible para las personas, pero detectable posteriormente mediante herramientas específicas.

En el caso de las imágenes, estas marcas de agua no consisten en información visible superpuesta, sino en pequeñas modificaciones distribuidas por los píxeles de la imagen. Dichas alteraciones están diseñadas para no afectar perceptiblemente a la calidad visual, pero sí para dejar un patrón matemático reconocible por los sistemas de detección.

En los modelos de lenguaje, el mecanismo es diferente. La marca puede introducirse alterando ligeramente las probabilidades con las que el modelo selecciona determinadas palabras o secuencias de palabras durante la generación del texto. El resultado sigue siendo perfectamente natural para un lector humano, pero contiene patrones estadísticos que permiten inferir posteriormente si fue generado por un modelo que incorpora ese sistema de marcado.

La detección se realiza mediante algoritmos que buscan precisamente esos patrones. Cuando una imagen, un audio o un texto son analizados, el sistema calcula la probabilidad de que contengan la señal introducida durante la generación. No se trata de una identificación absoluta, sino de una estimación basada en la presencia de determinadas características matemáticas.

El principal problema es que estas tecnologías distan mucho de ser infalibles. Las marcas de agua pueden degradarse o desaparecer cuando el contenido es editado, recortado, comprimido, traducido, reformulado o procesado por otros sistemas. Además, solo funcionan de manera fiable cuando el contenido ha sido generado por modelos que incorporan expresamente ese mecanismo. Un contenido generado por un modelo que no implemente SynthID o una tecnología equivalente no dejará ninguna señal detectable.

Por ello, aunque las marcas de agua representan una herramienta interesante para mejorar la trazabilidad de los contenidos generados por IA, resulta exagerado presentarlas como una solución definitiva al problema de la identificación de contenido sintético. Más bien son una capa adicional de información que puede ayudar en determinados contextos, pero que convive con importantes limitaciones técnicas y prácticas.

This article is also available in English on my Medium page, «AI watermarks: detection, attribution, and paranoia»