OpenAIのGPT-6 Astra、ラボタスクで高スコアを記録するも基本的な誤りは解消されず

OpenAIのGPT-6 Astraは、新しいラボ分析ベンチマークにおいて、利用可能なクレジットの66.7%を獲得しました。これはGPT-5.6 Solの43.8%と比較して高い数値ですが、依然としてカウントミスや誤った実験サンプルの選択が見られました。

この結果は、OpenAIが酵素設計企業のLigo Biosciencesと共同で開発したBioBasicsBenchによるものです。このベンチマークは、科学者が生物学的サンプルを用いて実験を行う「ウェットラボ」からの証拠を、AIエージェントがどのように解釈するかを評価します。

両方の数値は、タスクごとにより多くの推論をモデルに許可する「xhigh」推論設定で記録されました。スコアは、専門家が作成した採点基準に対して獲得した平均クレジットを反映しており、正解の要素に対する部分点も含まれています。

この評価では、画像の解釈や実験上の問題の認識において改善が見られました。また、Astraが関連する証拠に気づきながらも、それを最終的な回答に反映できなかったケースも記録されています。

OpenAIは、「ベンチマークスコアが高いことは、モデルがラボで信頼できる判断を下せることをまだ意味しません」と注意を促しています。

以前のモデルが見逃していた問題を特定

いくつかの例では、GPT-5.6 Solが見落とした実験的証拠の限界をAstraが認識していることが示されています。

あるタスクでは、GPT-5.6 Solは色素シグナルの明るさに基づいて細胞を死細胞と分類しました。しかし、検出器は第2の色素からの光も拾う可能性があったため、明るさだけではその結論を裏付けるには不十分でした。Astraはこの曖昧さを特定し、シグナルを分離するためにより適切な対照実験（コントロール）を求めました。

対照実験は、科学者が実験をどのように解釈すべきかを確認するための比較対象を提供します。想定される対照実験が信頼できない場合に気づくことも含め、それらを正しく読み取ることはベンチマークの一部です。

DNAクローニングのタスクでは、GPT-5.6 Solは陰性対照プレートにコロニーがないことに基づいて結論を出しました。Astraは写真の細部に気づきました。プレートには実験で使用したものとは異なる抗生物質のラベルが貼られていたのです。Astraは、そのプレートを信頼できる対照実験として拒否しました。

別のタスクでは、細胞が消えたり現れたりするように見える一連の顕微鏡画像が含まれていました。GPT-5.6 Solは生物学的な説明を探しました。Astraは、これらの画像が深度スキャンを示しており、顕微鏡が移動するにつれてサンプルの異なる部分に焦点が合っていることを正しく認識しました。

OpenAIは、写真、ビデオ、ラボ機器からの生出力の取り扱いにおいて、Astraに広範な改善が見られたと報告していますが、同時に継続的な失敗例も示しています。