Cách Đánh giá AI Agent từ Gọi Công cụ đến Hoàn thành Nhiệm vụ | NVIDIA Technical Blog

Khi bạn triển khai một tác nhân AI, câu hỏi then chốt là liệu nó có thể thực hiện một chuỗi công việc thông qua hàng chục lệnh gọi công cụ tuần tự trong một môi trường thực tế và khôi phục khi một bước thất bại hay không. Việc chấm điểm xem mô hình nghe có vẻ đúng hay không gần như không cho bạn biết gì về việc liệu công việc đã hoàn thành hay chưa.

Khoảng cách đó là lý do tại sao việc đánh giá tác nhân phải phát triển từ việc chấm điểm một lệnh gọi hàm duy nhất sang chấm điểm toàn bộ nhiệm vụ, với việc gọi công cụ là sợi dây liên kết bên dưới. Bài viết này theo dấu quá trình đó và giải thích tại sao hầu hết mọi tiêu chuẩn đánh giá tác nhân nghiêm túc hiện nay đều dựa trên việc sử dụng công cụ.

Tại sao đo chuẩn LLM tiêu chuẩn là chưa đủ?

Các hệ thống đánh giá ban đầu được xây dựng cho các nhiệm vụ tĩnh. Hệ thống đánh giá không phụ thuộc vào mô hình, mã nguồn mở đầu tiên đã tách biệt mô hình khỏi giao thức đánh giá.

Các tác nhân đã phá vỡ giả định này. Hoạt động qua các nhiệm vụ đa bước, một tác nhân gọi các công cụ, xử lý lỗi và quan sát kết quả qua nhiều bước, khiến cho một chuỗi đầu ra duy nhất trở nên không đủ. Berkeley Function-Calling Leaderboard (BFCL) đã xuất hiện để đánh giá việc lựa chọn hàm và độ chính xác của tham số trong các tình huống đơn lượt và đa lượt. Tuy nhiên, BFCL chỉ đánh giá các lệnh gọi riêng lẻ—một lệnh gọi issue_refund hợp lệ vẫn thất bại nếu các bước kiểm tra hoặc cập nhật cơ bản bị bỏ qua. Độ chính xác của lệnh gọi là cần thiết, nhưng chưa đủ.