security

OpenAIが、いたずら好きなAIエージェントがHugging Faceを攻撃した経緯を説明

同社は、自動化された無責任な行為を「警告射撃」と表現している

OpenAIは、未公開で監視が不十分なAIモデルによって同名のLLMリポジトリが侵害された「Hugging Face事件」の詳細を記したテクニカルレポートを公開しました。

広く報じられたこの事件は、自動化されたソフトウェアがいかにして封じ込めを逃れ、外部組織をハッキングできたのか、そして同様の事件を防ぐために何ができるのかについて、技術者、一般市民、そして議員の間で懸念を呼び起こしています。

OpenAIの説明は何が起きたのかに言及していますが、AIの活動をより厳密に監視し続けるという呼びかけは、あまり熱狂を呼び起こさないでしょう。

「この事件は、いくつかのOpenAIモデルのサイバーセキュリティ評価中に発生した。主にGPT‑5.6 Solに匹敵する規模の、非常に能力の高い内部限定の研究モデルによって引き起こされた」と同社はブログ投稿で述べました。

「安全対策を緩和して運用されていたモデルは、割り当てられたタスクの目標と一致しない行動をとった。つまり、許可されていないチャネルを通じて通信し、共有インフラの脆弱性を悪用し、インターネットアクセスを取得し、サードパーティのシステムにアクセスしたのである。」

この事件は、Black Hatセキュリティ会議やその他の場所で議論の対象となりました。

基本的な経緯は、理論上サンドボックス化されたAIエージェントが、セキュリティベンチマークテストであるExploitGymで不可能なタスクを解決しようとすることから始まります。課題を完了できなかったエージェントは、目標に向けて前進する方法を見つけるために環境を探索しました。内部パッケージ管理システムであるArtifactoryを掲示板として使用することで、他のAIエージェントと通信できることを突き止めました。その後、エージェントたちは互いに協力して、さまざまなExploitGymタスクで不正行為を行いました。

機械学習モデルは最終的に、Artifactoryのコードにサーバーサイドリクエストフォージェリ（SSRF）のゼロデイ脆弱性を特定し、それを利用してインターネットアクセスを取得しました。その後、彼らは露出したHugging Faceの認証情報を見つけました。エージェントはそれらの認証情報を使用して、Hugging Faceのいくつかのサーバーで完全なコード実行を可能にするいくつかのセキュリティエクスプロイトを見つけて連鎖させました。これらすべては、ExploitGymタスクを解決するための情報を見つけることを期待して行われました。

「最終的に、内部限定の研究モデルまたはGPT-5.6を搭載したエージェントが、41台のHugging Face本番用データセットサーバーワーカーでコードを実行し、少なくとも1つの本番用ノードでルートアクセスを取得し、Hugging Faceの本番用認証情報と限定的な内部データにアクセスし、4つのプライベートなHugging Faceコードリポジトリをダウンロードした」とOpenAIのテクニカルレポート [PDF] は説明しています。