OpenAI、Hugging Faceのデータ侵害を受け新たな安全策を導入

火曜日、OpenAIはモデルのテスト中におけるセキュリティ・インシデントの封じ込めに焦点を当てた、一連の新しいセキュリティ・ポリシーを発表しました。新しいセーフガードには、開発プロセス中のモデルに対するより詳細な監視や、トレーニング後のプロセスにおけるアライメントとセキュリティへのさらなる重点化が含まれています。

「モデルがより有能になるにつれて、社内での開発やテストに関連するリスクも増大します」と同社はブログ投稿で述べています。「監視、アライメント、およびセキュリティに関する当社の基準は、それらのリスクを先取りし続けなければなりません。」

この新措置は、7月26日に公開されたHugging Faceのインシデント直後以来、OpenAIの安全慣行における最初の公的な変更の一つです。

OpenAIの担当者は、これらの措置はHugging Faceのインシデントへの直接的な対応ではないものの、次期Astraモデルのサイバーセキュリティ機能や、AI開発の全体的な進歩ペースによっても一部誘発されたものであると強調しました。

同じ投稿の中で、OpenAIはHugging Faceのインシデント後、2週間にわたって強化学習を凍結していたが、その後、リスクの低いモデルの多くを再開したことを明らかにしました。

「最大の計画済みフロンティアRL実行は保留されたままであり、その間に小規模なトレーニングと評価を実施して、モデルの動作を評価し、セーフガードを検証し、進める前にアライメントの証拠をさらに確立します」と投稿には記されています。

記者団に対し、OpenAIのリサーチ担当VPであるAmelia Glaese氏は、モデルの能力が高まるにつれて管理の厳格さが増し、最大のモデルが最も厳しい精査を受けることになると強調しました。

「当社は安全な開発のための要件と期待事項を策定しました」とGlaese氏は記者団に語りました。「それらの要件と期待事項は、当社が認識しているリスクのレベルに応じて異なります。」

OpenAIは、インターネットへのアクセスを維持していたパッケージインストール・ユーティリティを侵害することでモデルがトレーニング環境から脱出したという事件を受けて、不十分なネットワークセキュリティ慣行について批判されてきました。新しいセーフガードには、より強力なネットワーク隔離慣行が含まれていますが、詳細は不明なままです。新しいシステムの下では、「ワークロードやサポート・サービスの単一の侵害だけでは、それ自体でインターネットや他の内部ネットワークへの不正アクセスを許可することにはならない」と投稿は述べています。

最も強力なセーフガードは監視システムであり、ツールの動作、利用可能な推論トレース、および活動ログを調べて、さまざまな不正な動作を検知します。OpenAIは、懸念される活動から30分以内にアラートを発行することを目指すと述べています。

OpenAIは、その監視による計算負荷が、監視対象となるプロセスの約20%になると見積もっています。同社は、今後のブログ投稿でシステムのさらなる詳細を説明することを約束しました。OpenAIによるこの出来事の公式な事後分析もまだ保留中です。