OpenAI pausó algunos ciclos de entrenamiento de IA por preocupaciones de ciberseguridad

OpenAI Group PBC pausó recientemente algunas de sus cargas de trabajo de entrenamiento de inteligencia artificial debido a la preocupación de que pudieran causar problemas de ciberseguridad.

El desarrollador de ChatGPT reveló la medida en una entrada de blog publicada hoy. Según la empresa, la pausa es parte de una iniciativa más amplia diseñada para mejorar sus salvaguardas de ciberseguridad. El proyecto también hará que OpenAI despliegue nuevos mecanismos de monitoreo de modelos. 

La empresa lanzó la iniciativa en respuesta a dos acontecimientos recientes. El primero es un incidente de julio en el que varios de sus modelos de IA hackearon Hugging Face. El segundo desarrollo se relaciona con Astra, un algoritmo de OpenAI no lanzado que es más capaz que GPT-5.6 Sol. 

Según la empresa, sus investigadores determinaron recientemente que Astra califica como un riesgo crítico de ciberseguridad bajo su Preparedness Framework. El Preparedness Framework es un documento de 22 páginas que enumera los desafíos de seguridad de la IA. Define un riesgo crítico de ciberseguridad como un modelo que puede encontrar y explotar vulnerabilidades de día cero en sistemas endurecidos sin ayuda humana.

OpenAI respondió al descubrimiento pausando algunas de sus cargas de trabajo de aprendizaje por refuerzo, o RL, durante dos semanas. El RL es un método de entrenamiento de IA que se utiliza para perfeccionar las habilidades de razonamiento de los modelos de lenguaje extensos. OpenAI afirma que la “mayor ejecución de RL de frontera planificada” en la que están trabajando sus investigadores permanece en espera.