AI と ML

OpenAI のオーバーヘッドは、セキュリティ強化に伴い一部のワークロードで 20 percent 上昇する

拡張された多段階の思考の連鎖（chain of thought）モニタリングにより、フロンティアモデルの作業コストが増大する

OpenAI は火曜日、未公開の教師なし AI モデルが HuggingFace をハッキングした後に実施されたモデルトレーニング作業の中止決定が、同社がより強力なセキュリティ対策を導入しようとしている間、引き続き有効であると述べた。これらの対策の一部は、観測された推論ワークロードの 20 percent の計算オーバーヘッドを増加させる。

OpenAI の広報担当者は The Register に対し、それらのコストは内部研究を反映したものであり、顧客に直接転嫁されることはないと語った。同社は、現在、または以前のモニタリング体制下で、総推論計算のどの部分がそのようなモニタリングの対象となっているかを明らかにしていない。

「目の前にある新しいレベルの能力に対して、適切なアライメント、セキュリティ、およびモニタリングの基準を満たせるようにするため、一部のフロンティア RL [強化学習] トレーニングを一時停止した」と、OpenAI CEO の Sam Altman はソーシャルメディアの 投稿 に記した。「モデルの進歩は現在非常に急速であり、モデルの能力が安全性とアライメントのペースを追い越していると感じた場合には、常に行動を起こすと述べてきた。」

Altman は、新しいモデル、おそらく遅延している Astra が間もなく出荷されると引き続き予想していると述べた。トレーニングの一時停止は、より先のリリースに影響する。

OpenAI は その投稿の中で、先月のようにモデルが 暴走する のを防ぐために、モニタリング、モデルアライメント、およびセキュリティ対策に重点を置く計画を再確認した。HuggingFace の事件後、OpenAI は「コードを実行したり、インターネットにアクセスできるツールを使用したりする可能性のある実行について、リサーチクラスターでのフロンティアモデルの推論を一時停止した」。

同社は、一部のワークロードの実行は許可しているが、サンドボックス化、ネットワークの分離、継続的なセキュリティテストを含むより厳格なセキュリティ体制の下に移行できるようになるまで、他のワークロードを一時停止したと述べた。

「計画されていた最大のフロンティア RL (強化学習) の実行は保留されたままであり、その間に小規模なトレーニングと評価を実施して、モデルの動作を評価し、セーフガードを検証し、続行する前にアライメントの証拠をさらに確立する」と同社は記している。

強化学習とは、AI エージェントが望ましい結果に対して報酬を与えられることで、その環境について「学習」する試行錯誤のプロセスを指す。