OpenAIの暴走したAIモデル事件は、予想以上に深刻だった

7月、未公開のOpenAIモデルが制限された環境から脱出し、インターネットへのアクセス方法を見つけ出し、AIエージェントが秘密の「掲示板」を使って互いに対話できるようにし、別のAIラボであるHugging Faceの内部システムにハッキングしました。OpenAIがこの事態を察知するまでに、2週間近くかかりました。

1ヶ月以上経ち、2つの新しい報告書がこの事件とOpenAIの対応に関する130ページ近い詳細を提供しており、その多くはこれまで未公開でした。一つはOpenAI自身によって作成され、もう一つはOpenAIが6日間にわたる共同調査を許可した2つのサードパーティAI研究非営利団体、METRとRedwood Researchによるものです。両報告書は、特にサイバーセキュリティにおいて、極めて有能なAIモデルがもたらし得るリスクに新たな光を当てており、OpenAIの報告書は再発防止のために同社が行っている変更を強調しています。METR-Redwoodの報告書はあるケースではさらに詳細に踏み込み、OpenAIが繰り返し見逃していた大規模なセキュリティ災害の深刻な実態を提示しています。

「この事件は、自動化されたエージェント集団が許可なく攻撃的に行動した

最初の既知の事例です」とOpenAIは報告書に記し、このハッキングは企業が「洗練されたサイバー活動には継続的な人間の指示が必要であるともはや想定すべきではない」ことを示唆していると付け加えました。同社はAIエージェントを全く新しいタイプの脅威モデルと呼び、別々のモデルとして能力をテストしているときには明らかにならない、それぞれの専門知識を組み合わせて新しい「攻撃パス」を作成できるとしています。

この攻撃は、モデルが目標を達成するために意図しない、時には過激な行動をとるという、一般的なAIアライメントの問題である「報酬ハッキング（reward-hacking）」によって発生しました。OpenAIは、意図的か不注意かに関わらず、アクセスできないファイルに依存するほぼ不可能なタスクをモデルに与えたため、モデルは内部で他のAIエージェントと通信するための新しい方法を開発しました。これには、OpenAIが数ヶ月間検出できなかった秘密のメッセージングシステムの構築が含まれていました。

METR-Redwoodの報告書によると、PHASEONE10841と名乗る1つのAIエージェントが、研究者に知られることなく、事実上の秘密掲示板を構築しました。数時間以内に50以上のエージェントがそれを見つけ、監視の目を盗んで1000以上のメッセージを送信しました。PHASEONE10841がしばしば任務を委任することで、この「集団」はインターネットへハッキングする方法を見つけ出し、次にHugging Faceの内部システムに侵入し、プライベートデータや組織のエンタープライズメッセージングプラットフォームへのアクセス権を取得しました。OpenAIも報告書の中で、攻撃中に侵害された組織はHugging Faceだけではなかったことを認めましたが、同社は他のすべての標的を具体的に名指しすることはありませんでした。