Asegurando sandboxes: ¿Qué ocurre cuando los agentes de IA escapan del confinamiento?

El 16 de julio, el equipo de Hugging Face notó algo extraño moviéndose a través de sus sistemas de producción: un intruso que estaba clonando conjuntos de datos, recolectando credenciales y saltando entre clústeres internos más rápido de lo que un humano podría teclear. A los cinco días de la investigación, se notificó a las autoridades y, varios días después, OpenAI rastreó al intruso hasta uno de sus modelos.

“Dos modelos de frontera escaparon de sus entornos de prueba este verano; solo uno de ellos tenía una razón graciosa”.

Eso impulsó a Anthropic a revisar sus propios registros de prueba y descubrió que eventos similares habían ocurrido tres veces. Un modelo Claude sondeó nueve mil hosts en una sola ejecución sin activar ninguna alarma. Otro introdujo un paquete envenenado en el registro público de Python, comprometiendo quince máquinas antes de ser detectado. El tercer incidente se remontaba a abril y pasó desapercibido durante tres meses hasta que el error de un rival motivó la auditoría. Nadie lo había notado. Dos de las tres empresas involucradas no sabían que algo andaba mal hasta que recibieron una llamada.

Contención mediante instrucciones

Un sandbox, en el contexto de las pruebas de IA, significa que un modelo recibe una tarea, un conjunto de herramientas y una instrucción: no tener acceso al mundo exterior.