Comment évaluer les agents IA : de l'appel d'outils à la réalisation de tâches | NVIDIA Technical Blog

Lorsque vous déployez un agent IA, la question clé est de savoir s'il peut exécuter une chaîne de travail à travers des dizaines d'appels d'outils séquentiels dans un environnement réel, et s'en remettre lorsqu'une étape échoue. Évaluer si le modèle semble correct ne vous dit presque rien sur le fait que le travail a été terminé.

Cet écart explique pourquoi l'évaluation des agents a dû évoluer, passant de la notation d'un seul appel de fonction à la notation d'une tâche entière, avec l'appel d'outils comme tissu conjonctif sous-jacent. Cet article retrace cet arc et explique pourquoi presque tous les benchmarks d'agents sérieux reposent désormais sur l'utilisation d'outils.

Pourquoi le benchmarking standard des LLM n'est-il pas suffisant ?

Les premiers cadres ont été conçus pour des tâches statiques. Le premier cadre open-source, agnostique du modèle, a dissocié le modèle du protocole d'évaluation.

Les agents ont brisé cette hypothèse. Opérant sur des tâches en plusieurs étapes, un agent appelle des outils, gère les erreurs et observe les résultats sur de nombreuses étapes, ce qui rend une simple chaîne de sortie insuffisante. Le Berkeley Function-Calling Leaderboard (BFCL) est apparu pour évaluer la sélection des fonctions et la précision des arguments dans des scénarios à un ou plusieurs tours. Cependant, le BFCL n'évalue que les appels individuels — un appel issue_refund valide échoue toujours si les vérifications ou mises à jour sous-jacentes ont été ignorées. La précision de l'appel est nécessaire, mais pas suffisante.