OpenAI、サイバーセキュリティ上の懸念から一部のAI学習を一時停止

OpenAI Group PBCは最近、サイバーセキュリティ上の問題を引き起こす可能性があるとの懸念から、人工知能トレーニングワークロードの一部を一時停止しました。

ChatGPTの開発元は、本日公開されたブログ投稿でこの動きを明らかにしました。同社によると、この停止はサイバーセキュリティのガードレールを改善するために設計された、より広範な取り組みの一環です。このプロジェクトでは、OpenAIが新しいモデル監視メカニズムを導入することも予定されています。

同社は、最近の2つの出来事を受けてこの取り組みを開始しました。1つ目は、いくつかのAIモデルがHugging Faceをハッキングした7月の事件です。2つ目の出来事は、GPT-5.6 Solよりも能力の高い未発表のOpenAIアルゴリズムであるAstraに関連しています。

同社によると、研究者らは最近、Astraが同社のPreparedness Framework（準備フレームワーク）の下で重大なサイバーセキュリティリスクに該当すると判断しました。Preparedness Frameworkは、AIの安全性の課題を列挙した22ページの文書です。これは、重大なサイバーセキュリティリスクを、人間の助けを借りずに要塞化されたシステムのゼロデイ脆弱性を発見し、悪用できるモデルと定義しています。

OpenAIはこの発見に対応し、強化学習（RL）ワークロードの一部を2週間停止しました。RLは、大規模言語モデルの推論スキルを磨くために使用されるAIトレーニング手法です。OpenAIは、研究者が取り組んでいる「計画されている最大のフロンティアRLラン」は引き続き保留されていると述べています。

同社はまた、AI監視へのアプローチを改訂しました。「アクティベーション・クラシファイア」と呼ばれるアルゴリズムが、LLMの内部思考プロセスとツールの相互作用を定期的にレビューし、悪意のある活動の兆候がないかを確認するようになりました。異常が見つかると、アルゴリズムはその発見を、より高度な第2のアクティベーション・クラシファイアに転送します。それらのアルゴリズムが、今度はOpenAIの研究者に通知します。

同社は、不審なAIの動作に対して30分以内にアラートを生成することを目指していると述べています。OpenAIは、それが悪意のあるものであることを完全に否定できない場合、30分以内にそのような動作を停止するようスタッフに指示しました。

同社の新しい監視ワークフローは、かなりの量のハードウェアを使用します。現在、そのオーバーヘッドは、監視対象の推論ワークロードに割り当てられているインフラストラクチャの約20%に相当します。これにより、OpenAIは長期的には値上げを余儀なくされる可能性があります。

同社は、新しい監視メカニズムを他のサイバーセキュリティ対策と組み合わせています。OpenAIは特定のシステムアクセス権限を絞り込み、いくつかの内部アプリケーションを削除しました。さらに、最もリスクの高いAIワークロードをウェブから隔離するガードレールを改善しました。