Como Avaliar Agentes de IA: Das Chamadas de Ferramentas à Conclusão de Tarefas | NVIDIA Technical Blog

Quando você lança um agente de IA, a questão principal é se ele consegue executar uma cadeia de trabalho através de dezenas de chamadas de ferramentas sequenciais em um ambiente real e se recuperar quando uma etapa falha. Avaliar se o modelo soa correto não diz quase nada sobre se o trabalho foi concluído.

Essa lacuna é o motivo pelo qual a avaliação de agentes teve que evoluir da pontuação de uma única chamada de função para a pontuação de uma tarefa inteira, com a chamada de ferramenta servindo como o tecido conectivo subjacente. Este post traça esse arco e explica por que quase todos os benchmarks sérios de agentes agora se baseiam no uso de ferramentas.

Por que o benchmarking padrão de LLM não é suficiente?

As estruturas originais foram construídas para tarefas estáticas. A primeira estrutura independente de modelo e de código aberto desconectou o modelo do protocolo de avaliação.

Os agentes quebraram essa suposição. Operando em tarefas de várias etapas, um agente chama ferramentas, lida com erros e observa resultados ao longo de muitas etapas, tornando insuficiente uma única string de saída. O Berkeley Function-Calling Leaderboard (BFCL) surgiu para avaliar a seleção de funções e a precisão dos argumentos em cenários de turno único e múltiplos turnos. No entanto, o BFCL avalia apenas chamadas individuais — uma chamada issue_refund válida ainda falha se verificações ou atualizações subjacentes forem ignoradas. A precisão da chamada é necessária, mas não suficiente.