Cómo evaluar agentes de IA: desde llamadas a herramientas hasta la finalización de tareas | NVIDIA Technical Blog

Cuando lanzas un agente de IA, la pregunta clave es si puede ejecutar una cadena de trabajo a través de docenas de llamadas a herramientas secuenciales en un entorno real, y recuperarse cuando un paso falla. Evaluar si el modelo suena bien no dice casi nada sobre si el trabajo terminó.

Esa brecha es la razón por la cual la evaluación de agentes ha tenido que evolucionar desde calificar una sola llamada a función hasta calificar una tarea completa, con las llamadas a herramientas como el tejido conectivo subyacente. Esta publicación recorre ese arco y explica por qué casi todos los benchmarks de agentes serios ahora se basan en el uso de herramientas.

¿Por qué no es suficiente la evaluación comparativa estándar de LLM?

Los sistemas originales se construyeron para tareas estáticas. El primer sistema agnóstico al modelo y de código abierto desacopló el modelo del protocolo de evaluación.

Los agentes rompieron esta suposición. Al operar en tareas de múltiples pasos, un agente llama a herramientas, maneja errores y observa resultados durante muchos pasos, lo que hace que una sola cadena de salida sea insuficiente. El Berkeley Function-Calling Leaderboard (BFCL) surgió para evaluar la selección de funciones y la precisión de los argumentos en escenarios de un solo turno y de varios turnos. Sin embargo, BFCL solo evalúa llamadas individuales: una llamada issue_refund válida sigue fallando si se omitieron las comprobaciones o actualizaciones subyacentes. La precisión de la llamada es necesaria, pero no suficiente.