Evaluando agentes de IA en vivo en la Grounded Reasoning Cup

Este año, Databricks organizó la edición inaugural de la Grounded Reasoning Cup, la primera competición de IA en vivo de su clase para evaluar la capacidad de los agentes de IA para razonar sobre colecciones de documentos complejas de estilo empresarial. Al poner a prueba a los agentes con un corpus recién publicado bajo condiciones de competición en vivo, la Grounded Reasoning Cup fue diseñada para ayudar a responder una de las preguntas más difíciles en la evaluación de la IA: ¿qué tan bien se generalizan las mejoras de rendimiento en un benchmark a tareas similares del mundo real?

La competición reunió a 11 de los mejores equipos académicos de EE. UU. y Canadá, emparejados con recursos y mentoría de laboratorios de frontera como OpenAI, Anthropic y Google DeepMind. A lo largo de dos meses, los equipos desarrollaron y optimizaron sus agentes en OfficeQA, nuestro benchmark insignia de razonamiento fundamentado diseñado para reflejar flujos de trabajo empresariales de alto valor económico. El día de la competición, se les desafió a aplicar esos sistemas en tiempo real a un benchmark de razonamiento fundamentado recién publicado, OfficeQA Pro V2, diseñado para probar si sus mejoras se generalizaban.