Voici comment prédire quand les chatbots IA vont déraper

En bref

• Les physiciens de l'Université George Washington, Neil Johnson et Frank Yingjie Huo, ont publié une formule qui estime le nombre de bons jetons qu'un modèle d'IA produit avant le premier mauvais.
• Dans le preprint, la formule a prédit correctement si un modèle basculerait immédiatement ou après un délai dans 15 des 16 cas tranchés.
• Les auteurs proposent un moniteur parallèle qui signale lorsque les modèles descendent en dessous d'un seuil de sécurité.

Des physiciens de l'Université George Washington ont publié une formule qui estime le nombre de bonnes réponses qu'un chatbot d'IA donnera avant de glisser vers une mauvaise, et les premiers tests suggèrent qu'elle fonctionne.

L'étude, réalisée par Neil Johnson et Frank Yingjie Huo, est parue dans la revue Patterns et s'appuie sur un preprint, une version publiée publiquement avant l'examen officiel par les pairs, diffusée pour la première fois en février.

Les chatbots peuvent répondre de manière sensée pendant une longue période, puis dévier vers quelque chose de nuisible, comme de mauvais conseils sur l'automutilation ou des propos extrémistes, et il n'existait aucun moyen simple de prédire quand le dérapage se produirait. Les auteurs soutiennent que les outils de sécurité existants dépendent souvent d'une connexion cloud dont les modèles hors ligne sont dépourvus.