Debemos retirar ya del mercado los agentes de IA abiertos con acceso a internet

Noticias de última hora de The New York Times, el más reciente de muchos incidentes causados por agentes que están ocurriendo con una regularidad aterradora, pero esta vez de Anthropic y bastante serio:

Hace tiempo que siento que OpenAI está manejando esto de manera inadecuada. Ver el mismo tipo de incidentes en Anthropic deja absolutamente claro que la generación actual de agentes sintéticos simplemente no es de fiar. Hasta que puedan ser reparados, deberían ser retirados del mercado, al igual que un coche con frenos defectuosos.

§

La nueva entrevista de Ezra Klein con el recientemente retirado empleado de AI David Robinson no hace más que reforzar mi sensación de que estas empresas están totalmente superadas:

Citando en parte:

Y no creo que nosotros o nuestros pares — en realidad, nadie en la industria — estemos siendo lo suficientemente seguros. Creo que OpenAI y sus pares están produciendo ahora una tecnología que es más capaz y plantea más riesgos de los que se estaban produciendo hace apenas seis meses.

No soy científico. Soy escritor. Lo que sé es cómo se ve el entorno de ejecución para nuestro trabajo de seguridad, y estamos operando — y creo que la industria está operando — todavía como una start-up, más de lo que tiene sentido. No tal vez completamente como una start-up nueva, pero estamos demasiado cerca de ese extremo del espectro para sistemas realmente peligrosos que podrían plantear riesgos — la pérdida de control es un ejemplo. Si eso ocurriera, estaríamos hablando de un daño mucho mayor, por ejemplo, que la fusión de una sola central nuclear. Y los controles internos, la seguridad y las redundancias no están ni cerca de lo que el mundo espera de una instalación de energía nuclear.

Ahora bien, parte de esto se sabe, ¿verdad? OpenAI ha informado públicamente sobre problemas de seguridad. Obviamente, Hugging Face, pero también otros, incluidos más recientemente. Y Anthropic, por cierto, también ha informado, incluyendo un caso en el que sus salvaguardas fueron mal configuradas accidentalmente.

Así que creo que la gente ya tiene alguna evidencia externa de que las cosas no son como deberían ser. Pero también creo que si estuvieras mirando desde afuera, podrías imaginar que tenemos una configuración de seguridad más robusta de la que realmente tenemos.