ツール呼び出しからタスク完了まで：AIエージェントを評価する方法 | NVIDIAテクニカルブログ

AIエージェントをリリースする際、重要な問いは、そのエージェントがライブ環境に対して数十回の連続したツール呼び出しにわたる一連の作業を実行でき、ステップが失敗したときに回復できるかどうかです。モデルの響きが正しいかどうかをスコアリングすることは、作業が完了したかどうかについてはほとんど何も教えてくれません。

そのギャップこそが、エージェントの評価が単一の関数呼び出しのスコアリングから、ツール呼び出しを基礎となる結合組織としたタスク全体のスコアリングへと進化しなければならなかった理由です。この投稿ではその軌跡をたどり、なぜほぼすべての本格的なエージェントベンチマークが現在、ツールの使用に立脚しているのかを説明します。

なぜ標準的なLLMベンチマーキングでは不十分なのか？

本来の評価ハーネスは静的なタスクのために構築されました。最初のモデルに依存しないオープンソースのハーネスは、モデルを評価プロトコルから切り離しました。

エージェントはこの前提を打ち破りました。マルチステップのタスク全体で動作するエージェントは、ツールを呼び出し、エラーを処理し、多くのステップにわたって結果を観察するため、単一の出力文字列では不十分になります。Berkeley Function-Calling Leaderboard (BFCL)は、シングルターンおよびマルチターンのシナリオ全体で関数の選択と引数の精度を評価するために登場しました。しかし、BFCLは個々の呼び出しのみを評価します。基礎となるチェックや更新がスキップされた場合、有効なissue_refund呼び出しであっても失敗となります。呼び出しの精度は必要ですが、十分ではありません。

呼び出しのスコアリングから環境のスコアリングへ

完全なエージェント評価には、現在、完全な実行環境が必要です。これは、各ツール呼び出しを実行し、ステップ全体のステート（状態）を追跡し、その後に世界を読み取って作業が完了したかどうかを判断する環境です。

その上には2つのスコアリングレイヤーが存在します。

• ステップレベル（プロセススコアリング）は、その時点の状態を考慮して、この呼び出しが有効で、関連性があり、有用であったかを問い直します。
• エンドツーエンド（E2E、またはアウトカムスコアリング）は、経路を無視して最終的な状態のみをチェックします。払い戻しは掲示されたか、チケットは正しくルーティングされたか？

ステップレベルは、デバッグやファインチューニングの取り組みをターゲットにする際に求められる、チェーンのどこで断絶が起きたかを教えてくれます。E2Eは、ステップ1での失敗とステップ9での失敗を同じ「タスク失敗」としてまとめます。E2Eはユーザーが実際に体験するものであるため、ほとんどのプロダクション評価ではこれをリリースの判定基準とし、デバッグのためにステップレベルのトレースをその下に保持します。