Évaluation d'agents IA en direct lors de la Grounded Reasoning Cup

Cette année, Databricks a organisé la Grounded Reasoning Cup inaugurale, une compétition d'IA en direct unique en son genre pour évaluer la capacité des agents IA à raisonner sur des collections de documents complexes de type entreprise. En testant les agents sur un nouveau corpus publié dans des conditions de compétition en direct, la Grounded Reasoning Cup a été conçue pour aider à répondre à l'une des questions les plus difficiles de l'évaluation de l'IA : dans quelle mesure les améliorations de performance sur un benchmark se généralisent-elles à des tâches réelles similaires ?

La compétition a réuni 11 des meilleures équipes académiques des États-Unis et du Canada, associées à des ressources et au mentorat de laboratoires de pointe, notamment OpenAI, Anthropic et Google DeepMind. Au cours de deux mois, les équipes ont développé et optimisé leurs agents sur OfficeQA, notre benchmark de raisonnement ancré phare conçu pour refléter des flux de travail d'entreprise économiquement précieux. Le jour de la compétition, elles ont été mises au défi d'appliquer ces systèmes en temps réel à un nouveau benchmark de raisonnement ancré, OfficeQA Pro V2, conçu pour tester si leurs améliorations se généralisaient.