Araç Çağrılarından Görev Tamamlamaya: AI Ajanları Nasıl Değerlendirilir | NVIDIA Technical Blog

Bir yapay zeka ajanı (AI agent) sunduğunuzda, temel soru, onun canlı bir ortama karşı düzinelerce ardışık araç çağrısı boyunca bir iş zincirini yürütüp yürütemeyeceği ve bir adım başarısız olduğunda toparlanıp toparlanamayacağıdır. Modelin kulağa doğru gelip gelmediğini puanlamak, işin tamamlanıp tamamlanmadığı hakkında size neredeyse hiçbir şey söylemez.

Bu boşluk, ajan değerlendirmesinin tek bir fonksiyon çağrısını puanlamaktan, altındaki bağlayıcı doku olarak araç çağırma ile tüm bir görevi puanlamaya evrilmek zorunda kalmasının nedenidir. Bu yazı, bu süreci izliyor ve neredeyse her ciddi ajan benchmark'ının neden artık araç kullanımına dayandığını açıklıyor.

Standart LLM benchmark'ları neden yeterli değil?

Orijinal düzenekler statik görevler için oluşturulmuştu. İlk modelden bağımsız, açık kaynaklı düzenek, modeli değerlendirme protokolünden ayırdı.

Ajanlar bu varsayımı bozdu. Çok adımlı görevlerde çalışan bir ajan, araçları çağırır, hataları yönetir ve birçok adım boyunca sonuçları gözlemler; bu da tek bir çıktı dizisini yetersiz kılar. Berkeley Function-Calling Leaderboard (BFCL), tekli ve çoklu etkileşim senaryolarında fonksiyon seçimi ve argüman doğruluğunu değerlendirmek için ortaya çıktı. Ancak, BFCL yalnızca bireysel çağrıları değerlendirir; alttaki kontroller veya güncellemeler atlanmışsa geçerli bir issue_refund çağrısı hala başarısız sayılır. Çağrı doğruluğu gereklidir, ancak yeterli değildir.