Tu inteligencia artificial corporativa necesita un cuadro de mando
Llevo ya bastante tiempo hablando con compañías que están intentando incorporar la inteligencia artificial a sus procesos de negocio. La mayoría sigue en lo que yo llamo «la fase administrativa», o como escuché en un evento reciente y me hizo mucha gracia, «la IA del oficinista»: automatizaciones modestas que permiten a algunos trabajadores redactar documentos o presentaciones, responder correos o hacer búsquedas sobre determinados temas. Pero después de mis últimos artículos, cada vez recibo más preguntas de empresas que quieren ir mucho más allá y conseguir que la inteligencia artificial se vuelva verdaderamente «estratégica».
Para estas empresas, la principal preocupación se formula en forma de pregunta: ¿será la inteligencia artificial suficientemente inteligente? Pero mi impresión es que hay una pregunta mejor y más útil: ¿cómo sabe la inteligencia artificial si lo que hizo mejoró realmente el negocio?
Los ejemplos son conocidos y nada teóricos: desde optimizar a un comercial para maximizar ingresos, margen o retención, hasta una fábrica en la que podemos mejorar la producción, pero también la calidad, o reducir los defectos. En los negocios, «optimizar» rara vez significa una sola cosa: dedicarse a mejorar una métrica puede fastidiar fácilmente otra. Así que, del mismo modo en que la dirección ya funciona a través de objetivos y retroalimentación, los agentes de inteligencia artificial necesitan exactamente lo mismo. De hecho, OpenAI ya enmarca explícitamente la evaluación empresarial como «especificar → medir → mejorar», y al hacerlo puede convertir objetivos de negocio vagos en expectativas accionables y medibles.
Los outputs son fáciles de medir, los resultados son más difíciles
Las métricas actuales de inteligencia artificial suelen medir variables como la calidad de las respuestas, la finalización de tareas, la latencia o el coste. Pero lo que a las empresas realmente les importa son cosas como la tasa de abandono de clientes, el margen, la conversión, la precisión en la gestión de reclamaciones, los plazos de entrega o el valor del ciclo de vida del cliente.
Un agente podría estar completando perfectamente la tarea que se le ha encomendado y, aun así, perjudicar a la empresa al hacerlo. Las empresas no se preocupan en último término por los outputs generados: se preocupan por los resultados. Merece la pena repetirlo varias veces, porque eso cambia toda la conversación: las empresas no se preocupan en último término por los outputs, se preocupan por los resultados. Lo que exigimos en las implementaciones corporativas de inteligencia artificial es completamente distinto de lo que necesitamos en el uso individual.
Un ejemplo empresarial sencillo es el conocido «descuento con éxito»: si le das a un agente el objetivo de conseguir que un cliente renueve, el agente podría ofrecerle un descuento del 20%. Cuando el cliente renueva, eso se vería inicialmente como un éxito aparente, pero obviamente, tiene un coste: el margen se hunde, el cliente aprende a esperar a los descuentos y clientes similares pueden empezar a exigir lo mismo. Lo que cuenta como éxito depende del marcador. Como dice la ley de Goodhart, que uso en todos mis cursos: cuando una métrica se convierte en un objetivo, deja de ser una buena métrica. Las métricas mal elegidas se vuelven peligrosas cuando se optimizan de manera agresiva.
La industria empieza a darse cuenta de que la evaluación tiene que ser continua
Las directrices de OpenAI para flujos de trabajo ponen mucho énfasis en capturar flujos completos, evaluar el comportamiento, detectar regresiones y mejorar prompts, enrutamiento y guardrails. La traducción directiva de todo esto es que la inteligencia artificial no puede simplemente aprobarse una vez y olvidarse: la evaluación tiene que convertirse necesariamente en una parte activa de las operaciones.
El mundo real es nuestro examen final: los benchmarks se producen antes de que los sistemas se desplieguen, pero las empresas operan en entornos cambiantes. Según el NIST, las pruebas controladas antes del despliegue no pueden capturar todos los comportamientos o consecuencias inesperadas que pueden emerger en el uso real. Como en «El aprendiz de brujo«, pero en la vida real: esa varita mágica con la que optimizas algo puede volverse fácilmente en tu contra.
La pregunta útil es si el sistema funcionó en el negocio, no solo en la prueba. Básicamente, hay que pasar de «¿tuvo éxito el agente?» a «¿mejoró la empresa?» Según un trabajo reciente de McKinsey, muchas organizaciones están escalando agentes más rápido de lo que pueden rediseñar el trabajo que hay debajo, y los consejos de administración y los directores financieros empiezan a exigir un valor más claro. Y cuando hablamos de valor, hay que tener en cuenta que los costes de tokens son solo una de las piezas: los flujos de trabajo agénticos deben juzgarse económicamente a nivel de flujo de trabajo completo.
El punto directivo es sencillo: completar la tarea no es lo mismo que tener éxito en el negocio.
AlphaZero como precedente intuitivo
Pensemos en AlphaZero, el brillante algoritmo diseñado por DeepMind: AlphaZero no se volvió invencible porque pudiera describir el ajedrez, sino porque actuaba, veía las consecuencias de sus acciones y tenía un objetivo inequívoco: ganar.
DeepMind explica que aprendió, mediante ensayo y error repetido, a favorecer movimientos que aumentaban sus posibilidades de ganar. Las empresas tienen objetivos mucho más complicados que el ajedrez, evidentemente, pero el principio se mantiene: aprender requiere retroalimentación vinculada a un objetivo.
La parte difícil es elegir el marcador: «aumentar las ventas» claramente no basta. ¿Y el margen? ¿Y la tasa de abandono, o las devoluciones, o el cumplimiento normativo, o la imagen de marca? Al establecer objetivos, múltiples objetivos pueden (y de hecho suelen) entrar en conflicto. Y esos conflictos no son solo problemas de ingeniería: son problemas de dirección. Por tanto, los consejos y los directivos tienen que decidir qué debe mejorar, qué no puede sacrificarse nunca bajo ninguna circunstancia, o qué compromisos podrían aceptarse. En cuanto los sistemas puedan optimizar continuamente, el propio objetivo se convierte en una decisión de gobernanza.
Como vimos en mi artículo anterior, algo tiene que llevar el timón. Pero no solo eso: llevar el timón solo tiene sentido si hay un destino claro y una forma de medir el progreso hacia él. Así que estamos pasando de la inteligencia, a la dirección, al establecimiento de objetivos y, finalmente, al aprendizaje. La función de control que falta debe aprender de episodios empresariales repetidos orientados a un objetivo explícito.
Las preguntas del CEO
Lo que creo que los CEO deberían preguntarse es: «¿qué está optimizando exactamente nuestra inteligencia artificial?», o «¿cómo sabremos si sus acciones mejoraron el negocio?», o «¿cambia lo que aprende de esos resultados lo que hace la próxima vez?» Si los directivos no pueden responder a esas preguntas de manera adecuada y competente, me temo que «autónomo» puede significar simplemente «actividad no supervisada». Buena suerte.
«Suficientemente inteligente» no es lo mismo que «apuntando en la dirección correcta». La próxima generación de inteligencia artificial empresarial necesitará más que inteligencia y más que autonomía. Necesitará un cuadro de mando y, sobre todo, la capacidad de aprender de él.
Tenlo en cuenta.
(This article was previously published on Fast Company)
Fuente: Artículo original