AI 에이전트 평가 방법: 도구 호출부터 작업 완료까지 | NVIDIA Technical Blog

AI 에이전트를 출시할 때 핵심적인 질문은, 그것이 실제 환경에서 수십 개의 순차적인 도구 호출을 통해 일련의 작업을 수행할 수 있는지, 그리고 단계가 실패했을 때 복구할 수 있는지 여부입니다. 모델이 적절하게 들리는지 점수를 매기는 것은 작업이 완료되었는지에 대해 거의 아무것도 알려주지 않습니다.

이러한 격차 때문에 에이전트 평가는 단일 함수 호출 점수 측정에서 도구 호출을 연결 고리로 하는 전체 태스크 점수 측정으로 진화해야 했습니다. 이 포스트는 그 흐름을 추적하고 왜 거의 모든 진지한 에이전트 벤치마크가 현재 도구 사용에 기반하고 있는지 설명합니다.

왜 표준 LLM 벤치마킹으로는 충분하지 않을까요?

기존의 하네스는 정적인 태스크를 위해 구축되었습니다. 최초의 모델 애그노스틱(model-agnostic) 오픈 소스 하네스는 평가 프로토콜에서 모델을 분리했습니다.

에이전트는 이 가정을 깨뜨렸습니다. 여러 단계의 태스크에 걸쳐 작동하는 에이전트는 도구를 호출하고, 오류를 처리하며, 여러 단계에 걸쳐 결과를 관찰하므로 단일 출력 문자열만으로는 불충분합니다. Berkeley Function-Calling Leaderboard (BFCL)은 단일 및 다중 턴 시나리오에서 함수 선택 및 인자 정확도를 평가하기 위해 등장했습니다. 그러나 BFCL은 개별 호출만을 평가합니다. 기본 검사나 업데이트를 건너뛰었다면 유효한 issue_refund 호출이라도 여전히 실패한 것입니다. 호출 정확도는 필요 조건이지 충분 조건은 아닙니다.

호출 점수 측정에서 환경 점수 측정으로

완전한 에이전트 평가는 이제 전체 실행 환경을 필요로 합니다. 각 도구 호출을 실행하고, 단계별 상태를 추적하며, 작업이 완료되었는지 결정하기 위해 이후의 세상을 읽는 환경입니다.

그 위에는 두 가지 스코어링 계층이 있습니다:

• 스텝 레벨(프로세스 스코어링)은 해당 시점의 상태를 고려할 때 이 호출이 유효하고, 관련성이 있으며, 유용했는지를 묻습니다.
• 엔드 투 엔드(E2E 또는 결과 스코어링)는 경로를 무시하고 최종 상태만 확인합니다. 환불이 게시되었는지, 티켓이 올바르게 라우팅되었는지 확인합니다.

스텝 레벨은 체인의 어디가 끊어졌는지 알려주며, 이는 디버깅하거나 파인튜닝 노력을 집중할 때 원하는 정보입니다. E2E는 1단계의 실패와 9단계의 실패를 동일한 "태스크 실패"로 축소합니다. E2E는 사용자가 실제로 경험하는 것이므로, 대부분의 프로덕션 평가는 이를 기준으로 릴리스 여부를 결정하고 디버깅을 위해 스텝 레벨 추적을 하단에 유지합니다.