KI-Agenten live beim Grounded Reasoning Cup im Test

In diesem Jahr veranstaltete Databricks den ersten Grounded Reasoning Cup, einen ersten KI-Wettbewerb seiner Art, um die Fähigkeit von KI-Agenten zu bewerten, über komplexe Dokumentsammlungen auf Unternehmensebene zu argumentieren. Durch das Testen von Agenten an einem neu veröffentlichten Korpus unter Live-Wettbewerbsbedingungen sollte der Grounded Reasoning Cup helfen, eine der schwierigsten Fragen der KI-Evaluierung zu beantworten: Wie gut lassen sich Leistungssteigerungen bei einem Benchmark auf ähnliche, reale Aufgaben übertragen?

Der Wettbewerb brachte 11 akademische Top-Teams aus den USA und Kanada zusammen, die mit Ressourcen und Mentoring von Frontier-Labs wie OpenAI, Anthropic und Google DeepMind unterstützt wurden. Im Laufe von zwei Monaten entwickelten und optimierten die Teams ihre Agenten auf OfficeQA, unserem Flaggschiff-Benchmark für Grounded Reasoning, der wirtschaftlich wertvolle Unternehmens-Workflows widerspiegeln soll. Am Wettbewerbstag wurden sie herausgefordert, diese Systeme in Echtzeit auf einen neu veröffentlichten Grounded-Reasoning-Benchmark, OfficeQA Pro V2, anzuwenden, um zu testen, ob sich ihre Verbesserungen verallgemeinern ließen.

Stanford gewann mit einem System, das eine Genauigkeit von 63.3% erreichte und damit das durchschnittliche Team um ca. +22 Punkte und die durchschnittliche Offline-Baseline der Frontier-Agenten um ca. +35 Punkte übertraf. Die Top-Teams demonstrierten erhebliche Gewinne durch Dokumentenvorverarbeitung, gezieltes Retrieval, parallele Agenten, strukturierten Tool-Einsatz und Verifizierung. Gleichzeitig blieben 18.8% der Fragen von jedem Team ungelöst, was unterstreicht, wie viel Spielraum beim Grounded Reasoning in Unternehmen noch besteht.