Un empleado de seguridad de OpenAI ha renunciado y está dando la voz de alarma

David Robinson solía escribir los informes de seguridad que acompañaban a cada lanzamiento importante de modelos en OpenAI. Esta semana, renunció a su cargo y ahora se está expresando en un editorial en The Atlantic.

Es comprensible si te sientes un poco cínico acerca de que todos salgan de repente de la nada para advertir sobre lo peligroso que es aquello que ayudaron a construir. Después de todo, ellos crearon este lío. Pero eso no significa que debamos descartar sus advertencias.

Robinson dice que la cultura en la industria está fundamentalmente rota. Que este es un problema más profundo que simplemente imponer unas cuantas reglas o regulaciones nuevas sobre cómo manejamos los modelos de entrenamiento. Silicon Valley ha operado con una “confianza extrema” y “sprints perpetuos”, dice, construyendo modelos más grandes y mejores con un “optimismo sin trabas” que ignora o subestima los problemas potenciales.

Dice que ha llegado el momento de que las empresas de IA desarrollen un sentido de humildad y miren fuera del mundo insular de “moverse rápido y romper cosas” de la industria tecnológica. Específicamente, dice que la IA necesita salvaguardias de nivel nuclear:

Dados los riesgos actuales, los laboratorios de frontera deben funcionar como plantas de energía nuclear o aeropuertos concurridos, con capas de redundancia y una planificación cuidadosa y que requiere mucho tiempo, para que el error humano ocasional e inevitable no abra una puerta al desastre.

Robinson es solo el último en un desfile creciente de investigadores y trabajadores de seguridad que han dejado sus puestos en destacadas empresas de IA. Jacob Coxon parece haber iniciado el éxodo al renunciar a Anthropic y luego decir públicamente que la IA “podría matarnos a todos para finales de la década”. Fue seguido por Robert O’Callahan, Bilal Chughtai y Josh Engels en Google DeepMind, así como por Joe Benton en Anthropic.