OpenAIの数学解法、依然として専門分野の基準に達せず

今週、OpenAIが世界で最も困難な数学の難問に対する数百件の解決策を公開した際、同フロンティア・ラボは、同社のモデルが以前この分野の長年の難問を解決したときに生じた論争を避けるため、エリート数学者の諮問グループに相談したと述べた。

しかし、OpenAIはそれらの基準を満たしておらず、特に数学者たちが数学的結果に対する人間の理解の必要性を強調した点において不十分だった。OpenAIのモデルによって解決されたとされる100万ドルの懸賞金問題について、自然言語による説明と形式的に表現された解決策との間の乖離を指摘する新しい論文が出た後では、これは特に懸念される事項である。

プリンストン高等研究所が主催する数学・人工知能諮問グループ（AGMAI）は、世界中の機関に所属する9人の著名な研究者で構成されている。

同組織は、9月末に数学の問題を解決するフロンティア・ラボ向けのガイドラインを公開した。最新の証明セットに関する声明の中で、AGMAIは「我々の勧告がどの程度うまく守られたかを評価するのは、最終的には数学界の判断に委ねられている」と述べた。

しかし、同組織の最初の要請は「独自のモデルで高度な数学の問題をテストするのをやめること」であった。OpenAIの公開資料には、数学のオープンな研究課題を使用して自社の独自モデルを評価していると明記されている。

諮問グループは、TechCrunchがOpenAIの最新の証明公開についてより詳細な評価を求めた際、回答しなかった。同ラボは、結果を可能な限り速やかに公開することや、モデルがどのように結論に達したかについての情報を含めることなど、いくつかの原則には明らかに従っていた。しかし、すべてではない。719件の草稿のうち、モデルの思考の連鎖（chain of thought）の公開が含まれていたのはわずか10件だった。

人々が理解できない論文については、数学者たちは証明を形式化すべきだと提案したが、OpenAIが公開した証明のうち、このプロセスを経ていないものはわずか42%だった。

結局のところ、AGMAIの原則に従って、証明を公開する際にOpenAIが「人間の理解が続くことを保証する責任」を負っているかどうかは依然として不明確である。AGMAIは、同ラボの解決策を実質的な意味のあるものにするために必要となる、人間の数学者たちの研究にOpenAIが資金を提供すべきだと示唆した。

「当初の目標が『解決』されてしまえば、その広範な分野自体には関心がなく、AIの出力を十分に理解していないため、結果に関する質問に答えたり、講演を行ったり、あるいはその分野の他の人々と交流したりすることのできないAIプロンプターによって、問題が自律的に解決されている」と、OpenAIのアプローチを批判してきた著名な数学者のTerence Taoは、公開後にソーシャルメディアに書き込んだ。