OpenAI lanza Control Room con un potente interruptor de apagado de 35 segundos para agentes rebeldes

OpenAI ha implementado un sistema de control centralizado llamado Control Room para detener cargas de trabajo de modelos de IA potencialmente riesgosas en toda su infraestructura de investigación, con el sistema diseñado para detener la salida de modelos adicionales dentro de los 35 segundos posteriores a una decisión de intervenir.

El sistema está destinado a fortalecer las salvaguardas a medida que los modelos de IA cada vez más capaces introducen mayores riesgos de seguridad y protección. Conecta las cargas de trabajo de investigación, incluidos el entrenamiento de modelos basados en agentes, las evaluaciones y los trabajos de procesamiento de datos, a un servicio central que controla si pueden continuar generando resultados.

A diferencia de los sistemas de monitoreo convencionales que principalmente señalan comportamientos sospechosos, Control Room puede prevenir activamente que una carga de trabajo de investigación obtenga salidas de modelos adicionales. Funciona junto con los sistemas existentes de OpenAI para monitorear el comportamiento de modelos potencialmente desalineados.

La empresa dijo que Control Room ya está implementado en toda su infraestructura de investigación, donde la necesidad de intervención es mayor. Su infraestructura externa de servicio de modelos está más centralizada y ya cuenta con mecanismos operativos para retirar despliegues de modelos cuando sea necesario.