Satya Nadella de Microsoft dice que los modelos de IA necesitan un 'freno de emergencia'

El CEO de Microsoft, Satya Nadella, es el ejecutivo tecnológico más reciente en ofrecer reflexiones extensas sobre cómo podría mejorarse la seguridad de la IA.

En una publicación del sábado por la mañana en X, Nadella escribió que es hora de “dar un paso atrás y evaluar la arquitectura de confianza” de la IA.

“No podemos tratar la Superinteligencia como un conjunto de cajas negras anidadas y simplemente aceptar o rechazar sus recomendaciones, respuestas y acciones”, escribió Nadella, utilizando el término preferido de la administración Trump para la IA. 

Tal como lo describió Nadella, este enfoque “significa separar el modelo del arnés que orquesta su trabajo”, así como “externalizar los controles y las salvaguardias”. También pidió que “cada acción significativa del modelo” sea documentada con “evidencia legible por humanos e inviolable”, y para sistemas donde “una persona autorizada” siempre tenga la capacidad “de pausar o apagar un modelo a mitad de una tarea”.

“Debemos asumir que un modelo está comprometido y contenerlo desde el principio”, dijo. “Piense en ello como un freno de emergencia”.

Los comentarios de Nadella se producen mientras las principales empresas de IA reconocen cada vez más incidentes en los que parecieron perder el control de sus modelos, y después de que el CEO de Anthropic, Dario Amodei, publicara un plan para un desarrollo de la IA más cauteloso.