OpenAIs GPT-6 Astra erzielt bessere Ergebnisse bei Laboraufgaben, macht aber weiterhin Basisfehler

OpenAIs GPT-6 Astra erreichte 66.7% der verfügbaren Punkte in einem neuen Benchmark für Laboranalysen, verglichen mit 43.8% für GPT-5.6 Sol, machte aber dennoch Zählfehler und wählte die falschen Versuchsproben aus.

Die Ergebnisse stammen von BioBasicsBench, entwickelt von OpenAI zusammen mit dem Enzymdesign-Unternehmen Ligo Biosciences. Er bewertet, wie KI-Agenten Beweise aus Nasslaboren interpretieren, in denen Wissenschaftler Experimente mit biologischen Proben durchführen.

Beide Zahlen wurden mit der „xhigh“-Einstellung für logisches Denken aufgezeichnet, die den Modellen mehr Denkprozesse pro Aufgabe ermöglicht. Die Punktzahlen spiegeln die durchschnittlich erreichten Punkte im Vergleich zu von Experten verfassten Bewertungskriterien wider, einschließlich Teilpunkten für richtige Elemente einer Antwort.

Die Auswertung zeigt Verbesserungen bei der Interpretation von Bildern und dem Erkennen experimenteller Probleme. Sie dokumentiert auch Fälle, in denen Astra relevante Beweise bemerkte, diese aber nicht in seine endgültige Antwort übernahm.

OpenAI warnt: „Höhere Benchmark-Werte bedeuten noch nicht, dass Modelle zuverlässige Urteile im Labor fällen können.“

Probleme erkennen, die frühere Modelle übersehen haben