Anthropic travaille sur un système pour prouver l'identité des modèles d'IA

Anthropic travaille sur un système open source pour vérifier quel modèle d'IA a produit un résultat donné, selon un article de blog publié mardi. Le système, appelé FlashProve, est conçu pour fournir ce que les chercheurs appellent une « inférence prouvable » — une preuve cryptographique, essentiellement une garantie mathématique, qu'un résultat donné provient d'un modèle spécifique. Il est destiné à permettre aux utilisateurs de confirmer que la réponse qu'ils ont reçue provient réellement du modèle qu'ils pensent utiliser.

Semblable aux signatures d'e-mail cryptographiques qui permettent aux destinataires de confirmer qu'un message provient réellement de son expéditeur présumé, FlashProve serait robuste face aux imposteurs tentant de déguiser un modèle en un autre, même lorsque l'imposteur est le laboratoire qui a construit et exploite le modèle. En particulier, les chercheurs notent que le système pourrait être utilisé pour empêcher une entreprise d'IA de substituer secrètement un modèle moins cher pour réduire les coûts, ou un modèle plus cher pour gonfler ses résultats de performance.

FlashProve pourrait également être utilisé pour vérifier les affirmations de tierces parties selon lesquelles une tâche spécifique a été effectuée par un modèle avancé. « Un développeur pourrait affirmer que sa bibliothèque logicielle a été analysée pour détecter des vulnérabilités par un modèle de cybersécurité de pointe, ou une entreprise pourrait affirmer que son plan d'affaires a reçu le feu vert d'un modèle approprié », écrivent les chercheurs. « Comment un utilisateur peut-il vérifier ces affirmations ? »