Satya Nadella de Microsoft affirme que les modèles d'IA ont besoin d'un « frein d'urgence »

Le PDG de Microsoft Satya Nadella est le dernier dirigeant de la tech à proposer de longues réflexions sur la manière dont la sécurité de l'IA pourrait être améliorée.

Dans une publication samedi matin sur X, Nadella a écrit qu'il est temps de « prendre du recul et d'évaluer l'architecture de confiance » de l'IA.

« Nous ne pouvons pas traiter la Super Intelligence comme un ensemble de boîtes noires imbriquées et simplement accepter ou rejeter ses recommandations, ses réponses et ses actions », a écrit Nadella, utilisant le terme préféré de l'administration Trump pour l'IA. 

Comme l'a souligné Nadella, cette approche « signifie séparer le modèle du harnais qui orchestre son travail », ainsi qu'« externaliser les contrôles et les mesures de protection ». Il a également appelé à ce que « chaque action significative du modèle » soit documentée par des « preuves lisibles par l'homme et inviolables », et à des systèmes où « une personne autorisée » a toujours la possibilité « d'interrompre ou d'arrêter un modèle en cours de tâche ».

« Nous devons supposer qu'un modèle est compromis et le contenir dès le départ », a-t-il déclaré. « Considérez cela comme un frein d'urgence. »

Les commentaires de Nadella interviennent alors que les principales entreprises d'IA reconnaissent de plus en plus d'incidents où elles semblaient perdre le contrôle de leurs modèles, et après que le PDG d'Anthropic Dario Amodei a publié un plan pour un développement de l'IA plus prudent.