KI-Agenten bewerten: Vom Tool-Aufruf bis zum Aufgabenabschluss | NVIDIA Technical Blog

Wenn Sie einen AI-Agenten bereitstellen, ist die entscheidende Frage, ob er eine Kette von Arbeiten über Dutzende von sequenziellen Tool-Aufrufen in einer Live-Umgebung ausführen und sich erholen kann, wenn ein Schritt fehlschlägt. Die Bewertung, ob das Modell richtig klingt, sagt fast nichts darüber aus, ob die Arbeit abgeschlossen wurde.

Diese Lücke ist der Grund, warum sich die Evaluierung von Agenten von der Bewertung eines einzelnen Funktionsaufrufs zur Bewertung einer gesamten Aufgabe entwickeln musste, mit Tool-Aufrufen als verbindendes Gewebe darunter. Dieser Beitrag zeichnet diesen Bogen nach und erklärt, warum fast jeder ernsthafte Agenten-Benchmark heute auf der Nutzung von Tools basiert.

Warum reicht Standard-LLM-Benchmarking nicht aus?

Die ursprünglichen Testumgebungen wurden für statische Aufgaben entwickelt. Die erste modellagnostische Open-Source-Umgebung entkoppelte das Modell vom Evaluierungsprotokoll.

Agenten haben diese Annahme hinfällig gemacht. Da ein Agent über mehrstufige Aufgaben hinweg agiert, Tools aufruft, Fehler behandelt und Ergebnisse über viele Schritte hinweg beobachtet, reicht eine einzelne Ausgabezeichenfolge nicht mehr aus. Das Berkeley Function-Calling Leaderboard (BFCL) entstand, um die Tool-Auswahl und die Genauigkeit der Argumente in Szenarien mit einem oder mehreren Durchgängen (Turns) zu bewerten. BFCL bewertet jedoch nur einzelne Aufrufe – ein gültiger issue_refund-Aufruf schlägt immer noch fehl, wenn grundlegende Prüfungen oder Aktualisierungen übersprungen wurden. Die Genauigkeit der Aufrufe ist notwendig, aber nicht ausreichend.