OpenAI suspende un gran entrenamiento de IA de frontera por ciberriesgos

OpenAI pausó temporalmente el entrenamiento de aprendizaje por refuerzo (RL) en sus últimos modelos destinados al despliegue durante dos semanas mientras reforzaba y realizaba pruebas de equipo rojo en los entornos de investigación y ampliaba el monitoreo.

“Nuestra mayor ejecución de RL de frontera planificada permanece en espera mientras realizamos entrenamientos y evaluaciones a menor escala para evaluar el comportamiento del modelo, validar nuestras salvaguardas y establecer más evidencia de alineación antes de proceder”, la empresa dijo.

La medida siguió al incidente entre OpenAI e Hugging Face y a la evidencia preliminar de que el próximo modelo Astra de la compañía puede cumplir con el umbral crítico de capacidad de ciberseguridad bajo su Marco de Preparación.

Los cambios tienen como objetivo fortalecer el monitoreo, la alineación y la contención durante todo el desarrollo del modelo.

OpenAI ha detallado actualizaciones en sus procesos de investigación e infraestructura, junto con el trabajo que sigue en curso.

Construyendo salvaguardas para modelos más capaces

El desarrollo de modelos más capaces depende de tres salvaguardas de refuerzo. El monitoreo ayuda a detectar y responder a comportamientos preocupantes, la alineación reduce la probabilidad de acciones dañinas o no autorizadas, y las medidas de seguridad limitan lo que los sistemas de IA pueden acceder o afectar.