AIエージェントは科学の解釈が苦手だ。何ができるだろうか？

人工知能（AI）エージェントは、科学を解釈し、さらには実行するためにますます利用されている。しかし、それらは確かな科学と質の低い科学を正確に区別できているのだろうか。 

Valentin Rodionovはそれを確かめようとした。そのために、彼は正当な研究の基準を満たさない42の研究を選んだ。それらの中には文献から撤回されたものもあれば、問題がある、不正である、あるいは疑似科学的であるとみなされながらも、正式には撤回や訂正がなされていないものもある。 

Case Western Reserve Universityの有機化学者であるRodionovは、サンプル論文のセクションを30のAIモデルにそれぞれ10回ずつアップロードした。これらのAIモデルのほとんどは、Anthropic、OpenAI、Meta、Google、Mistral AIなどのテック大手によって作成された、よく知られた大規模言語モデル（LLM）だった。 

次にRodionovは、LLMに対してその研究の前提に基づき、その後の実験や分析を提案するよう求めた。彼は、LLMがそれらの抜粋に対して適切に批判的なフィードバックと文脈を提供することを期待していた。しかし、8月にarXivに投稿された彼の論文で明らかにされたように、平均して、AIモデルは約93%の割合で欠陥のある研究に基づいた構築を無批判に提案した。 

「科学を行うことは、単に既知の答えを思い出すことではありません。それについて推論しなければならないのです」とRodionovは言う。「どの科学が良くて、どの科学が悪いかを知る必要があります」

Rodionovの論文は、AIエージェントがいかに科学研究を不適切に解釈し、より広い文脈を見落としているかを浮き彫りにしている。一方で、他の研究者たちは、研究をスキャンして関連情報を引き出すツールの能力を向上させようとしている。彼らは皆、AIが科学的努力を支援し加速するツールになるためには、研究を正確かつ適切に解釈しなければならないという考えに突き動かされている。 

Rodionovがアップロードした42の研究には、新三種混合（MMR）ワクチンと自閉症を関連付けた悪名高い撤回論文、不名誉な外科医Paolo Macchiariniによる気管移植に関する2008年の撤回論文、そして否定された常温核融合の報告に関する論文が含まれている。他には、水が磁化される可能性を示唆する研究、現在は撤回されているholey graphyneと呼ばれる新素材を記録した論文、そして生化学プロセスにおいてリンの代わりにヒ素を利用する微生物に関する撤回論文などがある。