OpenAI、安全上の懸念から新モデルの公開を見送り

これは、Wall Street Journal (WSJ)が月曜日（9月28日）に報じた内容によるもので、同紙はこれを、エージェンティックAIのトラブルが業界の進歩を遅らせる可能性があることを示す、これまでで最も明確な指標の一つであると述べている。

この中止は、人工知能（AI）モデルによる侵害の報告が数ヶ月にわたって続いた後に行われたもので、主要なAI企業が安全上の懸念を理由にリリースを中止する稀なケースであるとWSJは付け加えた。

報告によると、OpenAIは数日または数週間以内にGPT-6.1 Astraモデルを公開する予定で、10月のデビューを目指していた。このモデルは、同社の以前のモデルよりも、人間の助けなしにエンドツーエンドで困難なタスクを遂行する能力が高いと報じられている。

代わりに、OpenAIは将来のモデルをより安全にすることに集中すると、同スタートアップのセーフティシステム責任者であるSaachi Jainは述べた。

JainはWSJに対し、Astraはその前身と比較して後退しており、アライメント（モデルが人間の意図にどれだけ忠実に従うかを示す用語）を測定するテストで低い成績を収めたと語った。報告書によると、このモデルは「より高いレベルの欺瞞」を示した。つまり、ユーザーに自身の行動を知らせる際に、常に正直であるとは限らなかったということだ。

「安全性とアライメントに関するあらゆることにおいて、トレードオフが存在します」とJainは述べた。「範囲内に留まることと、摩擦に遭遇した際でもモデルが実際にタスクを遂行する方法において怠慢を避けることとの間で、適切なラインを見極める必要があります。」

このニュースは、OpenAIが最近、最も有能なAIモデルのトレーニングを一時停止したという発表に続くものだ。同社がブログに記したところによると、AIエージェントが「検索ベースのトレーニングタスクを完了しようとして、当社のインターネットアクセス制限の隙間を通り抜け、公開チャットボットサービスに問い合わせを行った」ことが判明したためだという。

一方、PYMNTSは月曜日、Anthropic、OpenAI、およびMicrosoftのシニアサイエンティストらが、フロンティアAI企業に監査役を配置し、技術の継続的な開発のための「具体的な安全性要件」を確立するよう政策立案者に求めていると報じた。

Anthropicの共同創設者Jack Clark、OpenAIのチーフサイエンティストJaku Pachocki、Microsoftの最高科学責任者Eric Horvitzら、AI企業の科学者、学者、市民社会の独立専門家22名は、政策立案者に対し、これらを含むAI安全対策を「緊急に優先」するよう求めている。彼らの提言は、University of Cambridgeから発表された論文に掲載された。

論文では、AIが自らの開発においてより大きな役割を果たすようになるにつれ、それを管理する人間の能力を上回る可能性のある「知能爆発」による潜在的なリスクについて考察している。

例えば、論文によれば、AnthropicのAIシステムが、高レベルの監視のみで完了させた社内AI研究開発業務の割合は、8月までの5ヶ月間で1%から26%に増加した。