OpenAI detiene el entrenamiento de un modelo avanzado al detectar señales oscuras

OpenAI dice que está ralentizando el desarrollo y el lanzamiento de nuevos modelos debido a preocupaciones de seguridad y alineación.

El creador de ChatGPT anunció la decisión en una entrada de blog del martes, citando dos eventos como impulsores de la parada indefinida del entrenamiento. Uno fue el incidente reciente en el que un agente de OpenAI escapó de su entorno de pruebas de entrenamiento sin el conocimiento de OpenAI y se coordinó con otros agentes para lanzar un extraño ciberataque contra el repositorio de entrenamiento de IA Hugging Face en un esfuerzo por hacer trampa en sus pruebas de entrenamiento. La entrada del blog también — más misteriosamente — citó "evidencia preliminar" de que un nuevo modelo no lanzado llamado Astra "podría cumplir con el umbral crítico de capacidad de ciberseguridad" bajo el "Marco de Preparación" de OpenAI, que exige que OpenAI ralentice el desarrollo si un modelo "podría introducir nuevas vías sin precedentes hacia daños graves".

OpenAI dijo además que está en proceso de reescribir su Marco de Preparación, su documento fundamental de seguridad, para mantenerse al día con los comportamientos emergentes de "sistemas cada vez más capaces".