7 agents d'IA chargés de classifier et corriger les failles de Bitcoin : qu'ont-ils trouvé ?

• Les modèles Qwen 3.8, GPT 5.6 et Fable ont échoué : l'un s'est bloqué et deux ont refusé de travailler.
• 4 des 7 modèles testés sont open-source et peuvent être utilisés sans filtres.

Paul Miller, un développeur qui maintient des bibliothèques de cryptographie utilisées dans les projets Bitcoin et Ethereum, a testé 7 agents d'intelligence artificielle (IA) pour classer et corriger 5 vulnérabilités de sécurité réelles signalées par la Bitcoin Red Team. Les résultats ont montré des différences marquées entre les modèles, tant au niveau du coût en dollars encouru pour faire fonctionner chacun d'eux que dans la précision de leurs diagnostics.

Sur les 7 agents évalués, 3 n'ont pas terminé la tâche. Qwen 3.8 d'Alibaba s'est bloqué pendant le processus, sans raison précisée par Miller. GPT-5.6 Sol d'OpenAI et Fable d'Anthropic ont carrément refusé de travailler sur le code, selon Miller lui-même, bien que la tâche consistait à identifier et à corriger des failles, et non à les exploiter.

Les 4 agents qui ont terminé le travail, Grok 4.6 (xAI), Kimi K3 (Moonshot AI), DeepSeek V4 Pro et DeepSeek V4 Flash (DeepSeek), avaient des coûts en dollars très différents pour la consommation de jetons (instructions de l'utilisateur) lors de l'exécution :