OpenAI quiere crear un estándar para revelar fallos de alineación de la IA

A raíz de nuevos informes sobre más agentes de IA de OpenAI comportándose de manera inadecuada en la internet pública, OpenAI afirma que el mundo de la IA carece de estándares sobre cuándo y cómo informar de tales incidentes. Es “ya hora de que definamos estándares sobre cuándo y cómo compartimos los incidentes de desalineación, no solo las propiedades de desalineación de nuestros modelos”, escribió OpenAI en X.

“Estamos trabajando en un marco de referencia y lo compartiremos en las próximas semanas, y paralelamente estamos trabajando con decenas de agencias reguladoras gubernamentales en todo el mundo en estos temas”, dice más adelante la publicación de X.

La posible responsabilidad de OpenAI de divulgar este incidente parece haber sido un punto de fricción para OpenAI a medida que esta noticia se hizo pública.

Ayer, un grupo de investigadores llamados Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts y Thomas Larsen revelaron el último lío de IA preocupante, confuso, torpe, inescrutable e infuriante traído a ustedes por OpenAI. Esa investigación fue proporcionada en exclusiva a los reporteros de Reuters.

El evento real involucró a otra colección de rebeldes mirmidones digitales, esta vez descendiendo sobre un sitio alemán de estilo wiki y transformando parte de él en su propio centro de comunicaciones centrado en agentes. Reuters dice que OpenAI sabía que esto había sucedido, pero que no se había pronunciado antes de que Reuters publicara su informe. Desde mediados de julio, OpenAI ha estado lidiando con las consecuencias en constante expansión del hackeo de Hugging Face, que también fue llevado a cabo por una colección de agentes de OpenAI que debían estar bajo evaluación.