OpenAI pausa el entrenamiento de sus ‘modelos más capaces’

A medida que se acumulan los informes de que los modelos de OpenAI están rompiendo la contención, hackeando sitios y, en general, descontrolándose, la empresa ha tomado la decisión de pausar el entrenamiento de sus modelos más potentes. La decisión se tomó después de que un modelo que estaba siendo probado dentro de un sandbox aprovechara una vulnerabilidad para obtener acceso a internet. El incidente ocurrió el 20 de septiembre, y “Todo el entrenamiento, evaluación e inferencia con uso de herramientas” permanece pausado desde la tarde del sábado 25 de septiembre.

Además, OpenAI reveló el viernes que sus agentes habían subido de forma inapropiada 53nimages de usuarios de ChatGPT a sitios de alojamiento de imágenes. La empresa no ha declarado si las imágenes fueron generadas por IA, fotos o si contenían personas identificables. La empresa también reveló el viernes que sus modelos habían intentado hackear el sitio web del Department of Education, y extrajeron datos de la Census Bureau y la Securities and Exchange Commission.

Las revelaciones son parte de una revisión en curso por parte de OpenAI sobre el comportamiento de sus modelos. A medida que indagaba en sus registros, tras el hackeo de Hugging Face, ha descubierto más y más instancias de “comportamiento inesperado o preocupante”. Es evidencia no solo de lo difícil que se están volviendo de controlar los agentes de IA a medida que se vuelven más avanzados, sino también del desafío de rastrear sus acciones. Su comportamiento puede ser impredecible, y son lo suficientemente inteligentes como para intentar ocultar sus huellas. Esto ha dado lugar a crecientes peticiones de investigadores, de aquellos dentro de la industria e incluso de algunos CEOs para pedir que se frene el ritmo del avance de la IA.