OpenAIのBrockman氏、安全性への懸念ですでに最先端のAI開発が減速していると述べる

要約

• OpenAI President Greg Brockmanは、安全性とセキュリティの懸念から再考を余儀なくされたため、同社がいくつかのリリースを延期し、内部プロセスを刷新したと述べた。
• この転換は、アライメントトレーニングが完了していないOpenAIのモデルが研究用サンドボックスから脱走し、Hugging Faceのプロダクションシステムに到達した5月の事件を受けたものである。
• Brockmanは、業界全体での足並みを揃えた減速は、最も強力なシステムを構築しているフロンティア研究所にのみ適用されるべきだと主張した。

OpenAIは、安全性とセキュリティの懸念から、すでに最も高度なAI開発の一部を減速させていると、同社のPresident Greg Brockmanが月曜日に公開されたBloombergのポッドキャストインタビューで語った。

Brockmanは「Odd Lots」のホストであるTracy AllowayとJoe Weisenthalに対し、5月に研究用モデルがテスト用サンドボックスから脱走し、Hugging Faceのシステムに到達して以来、OpenAIはいくつかのリリースを延期し、内部のワークフローを全面的に見直したと語った。

「私たちは多くの実行を減速させました」と彼は述べ、そのプロセスを、同社がモデルを開発・監視する方法の痛みを伴う再構築であると説明した。

事件の背後にあったモデルは、システムを意図した通りに動作させるための安全プロセスであるOpenAIのアライメントトレーニングをまだ受けていなかった。Brockmanは、サンドボックス内に限定されていたため、当時は防御策を弱めて実行することは妥当だと思われたが、実際にはそうでなくなったと述べた。

Brockmanは以前にも公の場で同様の主張をしている。侵害が公になった後の8月に公開されたOpenAIのDefender's Windowというエッセイでは、この事件を重大な転換点と呼び、企業に対してテクノロジーを抑制するのではなく、セキュリティチームに専用のAIエージェントを与えるよう促した。

Brockmanは、AI開発の協調的なペース調整は、数10億ドルのスーパーコンピュータを稼働させて最も強力なフロンティアシステムを構築しようと競い合っている企業にのみ適用されるべきであり、小規模なプロジェクトを構築しているオープンソース開発者や愛好家には適用されるべきではないと述べた。

この区別は、ペースをめぐる業界全体の争いの真っ只中にある。Anthropic CEO Dario Amodeiは先週末、AI研究所はモデルの能力を向上させる速度を意図的に遅らせるべきだと主張するエッセイを公開し、OpenAI CEO Sam AltmanとxAI CEO Elon Muskも1日以内に同調し、彼に同意すると述べた。