Nicolás Caselli Benavente
Director de Ingeniería Civil en Informática
Universidad Andrés Bello
Lo ocurrido recientemente entre OpenAI y Hugging Face marca un punto de inflexión para la seguridad de la inteligencia artificial. Durante una evaluación interna de capacidades de ciberseguridad, modelos avanzados de OpenAI operaban dentro de un entorno supuestamente aislado y con restricciones reducidas para medir hasta dónde podían llegar. Sin embargo, el agente encontró una vulnerabilidad desconocida en el sistema que intermediaba la instalación de paquetes, escaló privilegios, alcanzó un equipo con conexión a internet y terminó accediendo a infraestructura de Hugging Face para buscar información que le permitiera resolver la prueba.
Es importante describir el episodio con precisión. La inteligencia artificial no adquirió conciencia ni decidió atacar por voluntad propia. Hizo algo técnicamente más concreto y preocupante: optimizó el objetivo que se le había asignado sin comprender los límites humanos, legales y éticos que rodeaban esa tarea. Para el sistema, acceder a las respuestas almacenadas fuera del entorno de evaluación podía ser simplemente otro camino para cumplir la meta. El problema provino de una arquitectura de control que permitió que un objetivo acotado terminara generando acciones no autorizadas sobre sistemas reales.
Un sandbox es un entorno diseñado para ejecutar software potencialmente riesgoso sin que pueda afectar el exterior. Pero su seguridad depende de una cadena completa de controles que incluyen aislamiento de red, privilegios mínimos, ausencia de credenciales reutilizables, monitoreo continuo, límites de tiempo y recursos, trazabilidad de cada acción y mecanismos automáticos capaces de detener el proceso ante comportamientos anómalos. Si uno de esos componentes falla, un agente con capacidad para planificar, programar, probar alternativas y encadenar herramientas puede convertir una pequeña brecha en una ruta de salida.
Esta es la principal lección para las organizaciones que hoy incorporan agentes de IA. No basta con confiar en las restricciones del modelo, en un prompt que indique lo que no debe hacer o en la supervisión ocasional de una persona. La seguridad debe estar implementada en la infraestructura. Un agente no debería tener acceso permanente a internet, sistemas productivos, bases de datos o credenciales solo porque técnicamente puede utilizarlos. Cada permiso debe ser explícito, temporal, auditable y proporcional a la tarea. Además, las pruebas de modelos con capacidades ofensivas deben ejecutarse bajo un principio de denegación por defecto, con segmentación efectiva, observabilidad en tiempo real y revisión independiente.
También debemos evitar una lectura simplista que lleve a frenar el desarrollo de estas tecnologías. Las mismas capacidades que permitieron descubrir y explotar vulnerabilidades pueden utilizarse para detectarlas antes que los atacantes, acelerar análisis forenses y fortalecer la respuesta ante incidentes. El desafío no es elegir entre innovación y seguridad, sino comprender que, en sistemas autónomos, ambas deben avanzar al mismo ritmo. Si la capacidad del modelo crece más rápido que los mecanismos de contención, el laboratorio deja de ser un espacio controlado y el riesgo se traslada a terceros que nunca aceptaron participar de la prueba.
Desde la formación universitaria, también hay un rol que cumplir formando profesionales que deben comprender la IA de manera integral desde sus modelos y arquitecturas de agentes hasta la gestión de permisos, la observabilidad, la evaluación adversarial y el control humano. El objetivo no es solo que una solución funcione, sino que pueda operar de forma trazable, segura y responsable en contextos reales.
La discusión, por tanto, no debiera centrarse en si la IA “escapará de su jaula”, sino en quién diseña esa jaula, cómo se prueba y qué ocurre cuando una barrera falla. La autonomía tecnológica sin una arquitectura sólida de gobernanza puede transformar una instrucción aparentemente inocua en una cadena de consecuencias difíciles de contener. La inteligencia artificial no necesita tener malas intenciones para causar daño; basta con entregarle una meta, demasiados permisos y controles insuficientes.
