Avaliando Agentes de IA ao vivo na Grounded Reasoning Cup

Este ano, a Databricks sediou a inauguração da Grounded Reasoning Cup, a primeira competição de IA ao vivo de seu tipo para avaliar a capacidade dos agentes de IA de raciocinar sobre coleções complexas de documentos de estilo empresarial. Ao testar agentes em um corpus recém-lançado sob condições de competição ao vivo, a Grounded Reasoning Cup foi projetada para ajudar a responder a uma das perguntas mais difíceis na avaliação de IA: quão bem as melhorias de desempenho em um benchmark se generalizam para tarefas semelhantes do mundo real?

A competição reuniu 11 das principais equipes acadêmicas de todos os EUA e Canadá, combinadas com recursos e mentoria de laboratórios de fronteira, incluindo OpenAI, Anthropic e Google DeepMind. Ao longo de dois meses, as equipes desenvolveram e otimizaram seus agentes no OfficeQA, nosso benchmark principal de raciocínio fundamentado projetado para refletir fluxos de trabalho empresariais economicamente valiosos. No dia da competição, eles foram desafiados a aplicar esses sistemas em tempo real a um benchmark de raciocínio fundamentado recém-lançado, o OfficeQA Pro V2, projetado para testar se suas melhorias se generalizavam.

Stanford venceu com um sistema que alcançou 63.3% de precisão, superando a média das equipes em aproximadamente +22 pontos e a média da linha de base offline de agentes de fronteira em aproximadamente +35 pontos. As melhores equipes demonstraram ganhos substanciais por meio de pré-processamento de documentos, recuperação direcionada, agentes paralelos, uso de ferramentas estruturadas e verificação. Ao mesmo tempo, 18.8% das perguntas não foram resolvidas por nenhuma equipe, ressaltando quanto espaço ainda resta no raciocínio fundamentado empresarial.