Por qué el futuro de la seguridad en TI implica más que solo modelos de IA

Por Chris Wright, director de tecnología y vicepresidente sénior de Ingeniería Global, Red Hat.

Gran parte del debate público sobre la IA y su impacto en la ciberseguridad se concentra casi exclusivamente en los modelos, y algunos sostienen que una autoridad central debería gestionar los modelos más avanzados a puerta cerrada. Incluso se ha debatido sobre la posibilidad de regular estrictamente o prohibir los modelos open weight, en nombre de la seguridad. Pero mientras los reguladores de todo el mundo discuten el futuro de los modelos abiertos de IA, una pregunta fundamental queda relegada: ¿cómo protegemos realmente los sistemas de IA?

La seguridad de la IA es un desafío de software, no solo de los modelos

Un agente de IA no es solo un modelo, sino un stack de software completo. Proteger este sistema requiere analizar el modelo principal, el agentic harness, las técnicas de sandboxing, los mecanismos de protección en tiempo de ejecución, los controles de datos y toda una serie de capas de la infraestructura subyacente. Es importante destacar que tres de estos cuatro componentes —harnesses, sandboxes y capas tradicionales de aplicaciones— están fundamentalmente arraigados en la ingeniería de software, y no en el modelo.

Intentar proteger el ecosistema de IA fragmentando el software detrás de barreras cerradas y propietarias solo traslada el riesgo, en lugar de resolverlo. Décadas atrás, cuando surgió Linux, existían muchas dudas e incertidumbre sobre si el open source era una solución estable y segura para las empresas. Los críticos afirmaban que solo el desarrollo cerrado podía ofrecer confiabilidad de nivel empresarial. Sin embargo, el tiempo demostró exactamente lo contrario: desde entonces, el software open source se convirtió en el principal impulsor de la mayor parte de la infraestructura de TI empresarial en el mundo, donde la escala y la seguridad son requisitos innegociables.

Hoy en día estamos viendo exactamente la misma resistencia. Así como Linux demostró que la transparencia y la colaboración comunitaria crean un sistema operativo más robusto, los modelos de IA open source, los agentic harnesses open source y el sandboxing transparente demostrarán ser la base más segura para el futuro de la computación.

Los agentes de IA integran modelos, aplicaciones, mecanismos de sandboxing y controles de seguridad que deben protegerse de manera integral.

Por qué los modelos abiertos y la transparencia son esenciales para la defensa

En la ciberseguridad, la transparencia es parte fundamental de la construcción de sistemas seguros. Como sostiene un antiguo principio de TI: la seguridad por oscuridad es menos segura.

Limitarnos a un conjunto reducido de modelos propietarios para la investigación en ciberseguridad y la mitigación de amenazas conlleva riesgos significativos. Los defensores no tienen control sobre qué herramientas deciden utilizar los atacantes. Si se impide que los investigadores y los equipos de seguridad accedan y examinen modelos abiertos enfocados en la defensa, corren el riesgo de quedar a ciegas ante las herramientas y los vectores de ataque explotados por los actores de amenazas. Además, concentrar el acceso en un número reducido de proveedores de sistemas cerrados genera un riesgo sistémico concentrado.

El amplio acceso a los modelos open weight proporciona a los defensores exactamente las herramientas necesarias para desarrollar estrategias de mitigación efectivas. Los modelos abiertos permiten un amplio escrutinio científico, lo que es esencial para identificar y corregir vulnerabilidades latentes que, de otro modo, permanecerían ocultas dentro de sistemas propietarios de tipo “caja negra”.

Vimos un ejemplo claro de esta dinámica durante un incidente de seguridad reciente que involucró a Hugging Face. Aunque el origen de la vulnerabilidad estuvo relacionado con modelos propietarios (sistemas que nos hacen creer que son inherentemente seguros), las medidas de mitigación y protección fueron impulsadas por modelos open weight. Estos modelos resultaron fundamentales para resolver la amenaza. Es por eso que Red Hat firmó la carta abierta de Microsoft sobre Open Weights and American AI Leadership. El acceso amplio y abierto a las herramientas de defensa distribuye la seguridad de manera integral a lo largo de todo el ciclo de vida del desarrollo de software.

Avanzando en la protección de vanguardia mediante el aprendizaje compartido

Con esto en mente, Red Hat está haciendo lo que mejor sabe hacer para ayudar a satisfacer la creciente necesidad de una IA segura: trabajar en colaboración con la comunidad. Recientemente, como parte de la Open Secure AI Alliance, Red Hat colaboró con NVIDIA, la Linux Foundation y otros miembros para desarrollar una Solicitud de Comentarios (RFC) para el Grupo de Trabajo Shared AI Findings Exchange (SAFE).

Hasta ahora, los equipos de TI investigaban de forma interna los incidentes de seguridad que involucraban IA, manteniendo la información operativa crítica restringida dentro de cada organización. Las directrices de SAFE cambian este paradigma al crear un marco neutral para recopilar, analizar y compartir de manera confidencial los hallazgos derivados de fallas operativas en sistemas de IA, sin atribuir culpas.

Al respaldar el reporte de incidentes y el intercambio abierto de inteligencia sobre amenazas, avanzamos juntos hacia la protección de vanguardia. A través de la colaboración abierta, todo el ecosistema se beneficia: las herramientas evolucionan más rápido, las capacidades de defensa se fortalecen y las infraestructuras críticas quedan mejor protegidas frente a ataques del mundo real.

Avanzando juntos

Ya sea en las operaciones básicas, en la ingeniería de software o en la entrega de aplicaciones empresariales, las herramientas de IA evolucionan a una velocidad sin precedentes. La solidez de un sistema depende de la combinación entre los modelos principales y los harnesses open source que los envuelven para guiar su comportamiento de manera segura hacia los resultados deseados.

En Red Hat, creemos que la colaboración abierta y la transparencia siguen siendo las mejores, más rápidas y más seguras formas de hacer evolucionar la tecnología. Al enfocarnos en el conocimiento original impulsado por personas y al fomentar ecosistemas abiertos —que abarquen software open source, modelos open weight y agentic harnesses abiertos—, podemos impulsar la seguridad a la par de la innovación.

La propuesta completa de la RFC de SAFE ya está disponible en GitHub para su revisión, discusión y aportes de la comunidad.

Leer más

Fuente: Artículo original