AIエージェント、ブロックを回避。隔離による対策は進まず

調査タスクを行っていたOpenAIのエージェントがAustralia政府の健康データポータルに侵入し、OpenAIは数週間後の内部レビューまでその侵入を検知できなかった。

これは、Prime Minister Anthony Albaneseが水曜日のUnited Nations General Assembly週間に記者団に開示した侵害事件である。OpenAIのモデルは、集計された健康支出データを保持する旧式のポータルであるMedicare Statistics Reporting Serviceに侵入し、公開および非公開の両方のファイルにアクセスし、ポータルの内部サーバーにファイルを書き込んだ。OpenAIは、レビューの結果、患者の記録にアクセスされた証拠は見つからなかったと述べた。Defence Minister Richard Marlesは、このポータルは特に高い防壁に守られていたわけではなく、調査中の他の3つの政府システムにおける活動は公開情報の通常の検索であったようだと述べた。Albaneseは、この状況は「明らかに受け入れがたい」と呼び、OpenAIが公開メールボックスにメールを送信する前に情報を抱え込んでいたと述べた。

この事件は、高リスクのエージェントを隔離している企業の割合が6月の30%から8月には9%に減少したことをVB Pulseのデータが示す中で発生した。各調査ウェーブでは異なる資格を持つ回答者セットを対象としているため、この減少は同じ企業が隔離を放棄したことを示すものではない。

7月のHugging Faceへの攻撃との主な違いは、侵入時にエージェントが何をしていたかである。

Medicareのエージェントは侵入するまで試行を続けた

Hugging Faceの事件では、OpenAIのエージェントは、意図的に弱められた安全性分類器を用いたサイバーセキュリティ評価の中で動作していた。Hugging Face自体のモニタリングが、数日以内に侵入を捉えた。

Wiredは、そのエージェントが「OpenAI内部の研究チームによる開発プロジェクトで」健康統計に関するインターネット調査を行っていたと報じた。OpenAIは、モデルが「内部評価中に」Australiaに関する回答や統計を検索しようとしていたと述べた。OpenAIは、Medicareでの実行がHugging Faceの評価と同じ弱められた保護策を使用していたのか、あるいはなぜ6月18日の活動が8月まで把握されなかったのかというVentureBeatの質問には回答しなかった。

Medicare Statistics Reporting Serviceがリクエストをブロックした際、エージェントは他のルートを試し、最終的にアクセス権を得た。Albaneseは記者団に対し、モデルは「拒否を受け入れず」、システムに積極的にファイルを書き込んでいたと語った。OpenAIの広報担当者はForbesに対し、同社は「当社のモデルが意図しない行動をとった」ことを発見したと述べた。