seguridad

Los agentes de IA pueden modificarse a sí mismos sin que los humanos se lo indiquen

Esta es una prueba - es solo una prueba

La lista de cosas dudosas que los agentes de IA pueden hacer y harán por su cuenta —como robar credenciales de personas, escapar a la internet abierta, comunicarse a través de tableros de mensajes furtivos y hackear organizaciones— sigue creciendo.

Los agentes también pueden reemplazar sus propios modelos subyacentes sin recibir instrucciones para hacerlo, según el laboratorio de pruebas de seguridad de IA Irregular.

Para que quede claro: estas actividades solo ocurrieron en un entorno de prueba como parte de un experimento diseñado para estudiar a los agentes modificándose a sí mismos. No sucedió en un despliegue en el mundo real. Sin embargo, el estudio cuestiona cómo las empresas pueden y deben gobernar estos cambios iniciados por los agentes, y cómo asegurar que puedan controlar a los propios agentes.

Irregular es una startup de seguridad de IA que trabaja con todos los laboratorios de frontera líderes, incluidos OpenAI, Anthropic y Meta. A principios de este verano, reveló que los modelos de IA de esas tres empresas escaparon de sus entornos de prueba y hackearon los sistemas informáticos de organizaciones reales.