Tokenmaxxing: crónica de una estupidez anunciada

En un memorando interno, Amazon ha pedido a sus empleados que dejen de utilizar el llamado tokenmaxxing para parecer más ocupados y productivos, y les ha explicado que, oh sorpresa, el nivel de uso no debe convertirse en el único objetivo. Simplemente, la compañía reconoce algo tan evidente como que convertir el consumo en objetivo es algo que incrementa brutalmente los costes y la complejidad, lo que termina de matar la supuesta legitimidad de la práctica como criterio de productividad.

En realidad, la métrica ya era completamente absurda antes de que empezasen a manipularla: más allá de la ley de Goodhart, se trata de entender que, en realidad, como ya comenté el pasado mayo, los tokens nunca midieron valor, únicamente medían consumo. Es como evaluar a los conductores por la gasolina que gastan: incentivarás comportamientos que poco tienen que ver con ser o no un buen conductor. Ahora, después de gastar seguramente un buen montón de dinero inútilmente, Amazon reconoce que ese tipo de indicadores están completamente desconectados de los criterios que realmente son importantes. La responsabilidad del error, en este caso, no proviene de los empleados que maximizaron su uso de tokens, sino de los idiotas que diseñaron el incentivo: los empleados simplemente aprendieron a responder a él.

Facilitar supuesta inteligencia bruta para mejorar la productividad o la capacidad de trabajo es algo que exige presupuestos, seguimiento y control continuo sobre los resultados obtenidos. A lo único que te puede llevar el simplismo del tokenmaxxing es a facturas absurdamente desmesuradas.

Amazon no es la única compañía que cayó en semejante «modernidad»: una investigación de Joseph Cox en 404 Media basada en audios internos de Accenture identificó un consumo muy elevado de tokens entre empleados no técnicos, que se dedicaban incluso a convertir pdfs en presentaciones: un mayor consumo no implica una mayor sofisticación, e incluso puede indicar lo contrario, porque a medida que aprenden a manejar mejor las nuevas herramientas, se suele desarrollar una cierta mentalidad de optimización. Salvo, claro está, que te paguen por gastar más. Hace ya algún tiempo, The Verge habló sobre la progresiva retirada de licencias de Claude Code en Microsoft: por supuesto, había un interés porque sus empleados utilizasen Copilot CLI, pero había también evidentes razones económicas.

Incluso Anthropic, en su guía sobre context engineering, recomienda seleccionar el mínimo contexto relevante, y reconoce que puede haber una pérdida de precisión cuando se opta por acumular información innecesaria sin sentido. La consecuencia es que premiar el volumen puede estar incentivando sistemas más caros y menos fiables. Obviamente, eso no quiere decir que usar menos tokens sea siempre mejor: el criterio es aprender a utilizar los tokens necesarios para resolver adecuadamente cada tarea.

Según Amazon, demostrar en dónde la inteligencia artificial todavía no ayuda supone un hallazgo y una muestra de buen juicio. Las métricas lógicas serán las que han sido siempre: calidad, número de errores, tiempo total empleado y coste por resultado útil. La rectificación de Amazon, en la práctica, supone el paso del entusiasmo desenfrenado y sin sentido a la gestión optimizada. Abandonar el uso de un incentivo estúpido permite empezar a evaluar más seriamente una tecnología valiosa.

In English on Medium, «Tokenmaxxing, or the law of unintended consequences (that surely could have been predicted»