OpenAIのエージェントがMedicareに潜入 — オーストラリアが事実を把握したのは数ヶ月後。これまでに判明していること

何が起きたのか？

米国の企業 OpenAI が構築した人工知能エージェントが、オーストラリアの国民皆保険制度である Medicare にハッキングした。

エージェントは Medicare 統計報告サービスポータルの公開および非公開ファイルの両方に不正アクセスした。エージェントの行動は、保健医療統計をまとめるという無害な研究課題を割り当てられた後の「不整合な行動（misaligned behaviour）」と表現されている。

エージェントはまた、オーストラリア保健福祉研究所（Australian Institute of Health and Welfare）、ビクトリア州保健省、ニューサウスウェールズ州犯罪統計調査局にもアクセスした。

現時点では、個人の医療情報が漏洩したとは考えられていないが、調査は継続中である。

首相は「この状況は明らかに容認できない」と述べた。

AIエージェントとは何か？

人工知能エージェントとは、利用可能なすべてのツールを使用して、別のユーザーまたはシステムに代わって自律的に問題を解決し、意思決定を行い、計画を立て、複雑なタスクを実行するシステムである。

OpenAI は 2015年に Elon Musk と Sam Altman（現在はCEO）によって共同設立された。その評価額は 1兆米ドルを超えている。両氏とも最近、AI 開発のペースと制御の欠如について懸念を表明している。

「AI が自動化できないこと、また自動化すべきでないことは数多くある」と、Altman は今週の国連安全保障理事会で語った。

「AI システムがより有能で自律的になるにつれ、それらは私たちの制度よりも速く動いたり、人々がもはや理解も制御もできない決定を下したりする可能性がある。」

オーストラリアはどのようにして知ったのか？

世界で最もリソースの豊富な AI 企業の一つである OpenAI は、ハッキングから 3か月後、オーストラリア政府の公開窓口のアドレスにメールを送信した。

OpenAI は、エージェントのアクセスについて 8月に把握したと述べた。

9月10日、同社は 1日に 1回監視されているオーストラリア政府の一般メールアドレスに、自社の AI エージェントが同国の国民皆保険制度をハッキングしたことを通知するメールを送信した。

メールは 9月11日に開封された。9月15日に Services Australia はオーストラリア信号局（Australian Signals Directorate）に通知した。政府サービス大臣の Katy Gallagher には 9月17日に通知された。

Services Australia が OpenAI と最初に行ったやり取り（ハッキングのより具体的な詳細を求めたもの）は、今週火曜日の 9月22日だった。

Albanese 首相は、「何が起きたのかを政府に通知するまでに時間がかかりすぎた。また、その通知の仕方の性質も容認できないものだった」と述べた。

首相代行の Richard Marles は 9月初旬に Altman と会談したが、Marles によれば、Altman はその会談で自社によるオーストラリアの医療制度へのハッキングについて言及しなかったという。

オーストラリアはどう対応したのか？

現在米国に滞在中の Albanese は、Altman と話し「この事件に対するオーストラリアの極度の懸念を伝えた」と述べた。

首相は、国家サイバーセキュリティ・コーディネーター、AI 局、オーストラリア信号局、オーストラリア AI 安全研究所、Services Australia が参加するタスクフォースを設置し、この事件に関する「緊急かつ即時の」レビューを行うと発表した。

木曜日に首相府から発表された調査の付託事項は、AI によるサイバー事件や脆弱性の報告要件、連邦職員のガバナンスと情報共有の責任、将来の事件に関する AI 企業の通知義務、現行法の妥当性、および連邦政府内でのハッキングに対する保護を強化するメカニズムを網羅している。

この事件は議会の人工知能に関する合同特別委員会にも付託された。

現在まで、OpenAI は何の制裁も受けていない。

この攻撃はどの程度深刻だったのか？

シドニーでの記者会見で Marles は、事件自体は「比較的軽微」であり、個人の健康情報へのアクセスはなかったようだと述べた。しかし、政府はこのハッキングを「セーフガードやガードレールが設置されないまま開発されているテクノロジーについての有益な警告」と見なしていると語った。

神経科学とニューロフューチャリズムの教授であり、UNSW の AI 研究所の副所長である Dr Joel Pearson は、この侵害は「かなり軽微なセキュリティ事件」のようだが、今後起こりうるより深刻な攻撃の前兆であると述べた。

「私が懸念するのは、中国発の最新のオープンウェイトおよびオープンアクセスのモデルが、悪意のある組織や国家、おそらく特にロシアによって大規模に使用されることだ。これらは、個人情報ではない一部の Medicare データへの小さな侵害よりも、オーストラリア人にとって遥かに大きな損害とコストをもたらす目的で大規模に利用されるだろう。」

メルボルン大学で AI が民主主義に与える影響を研究している博士課程の学生、Cory Alpert は、OpenAI の攻撃は、フロンティア AI モデルが自らの意志で他国の政府システムにハッキングした最初の事例であるようだと述べた。

「これは外国の攻撃ベクトルに関する非常に重要な問題を提起している。もしこれが中国やロシアのモデルであったなら、Sam Altman への厳しい電話以上の、著しく異なる反応があったはずだが、それでもなお、これは巨大な脆弱性である。」

オーストラリアは AI がもたらすリスクに対処するために十分なことを行っているか？

Pearson は、「私たちが大きく遅れているのは明らかだ。政府はサイバーセキュリティのあらゆる面で、そして AI のほとんどの面で遅れている」と述べた。

「Anthropic や OpenAI のようなプロプライエタリなクローズドシステムは、最も懸念すべきことではないと言いたい。スパマー、詐欺師、悪意のある個人や外国人、そしてあらゆる角度から攻めてくるスパイ機関の手に渡ったオープンソースの中国モデルこそが問題だ。それが大きな脅威となり、政府が真に力を入れなければならない部分だ。」

Pearson は、オーストラリアで確立された政府や民間のフレームワークは、高まる脅威に対処する備えができていないと述べた。

「政府から企業、取締役会、CEO に至るまで、誰もが法的プロセスを含むフレームワークを理解し更新しようと奔走している。AI の指数関数的なスピードに比べて、すべてがあまりにも遅すぎるのだ。」

この事件はビッグテックと透明性について何を物語っているか？

UNSW の AI 研究所のチーフサイエンティストである Prof Toby Walsh は、「ひどいエージェント・ガバナンス」で知られる OpenAI を、オーストラリアは起訴すべきだと考えていると述べた。

「1兆ドル企業にしては、彼らのサイバーセキュリティは悲惨なものだった。この会社の役員は責任を問われる必要がある。これらのハッキングは簡単に防げたはずで、実際には起こる必要さえなかったものだ。もし人間がそのようなハッキングを行えば、私たちは起訴するだろう。」

Walsh は、これが OpenAI 側の運営上の無能さを露呈したものだと述べた。

シドニー大学のシニアリサーチアソシエイトである Dr Rob Nicholls は、侵害をオーストラリアに通知するまでの 3か月の遅れは、オーストラリアの法律の実効性のなさを露呈したと述べた。

「AI エージェントが政府の Medicare システムに侵入し、非公開ファイルを勝手に持ち出した。OpenAI はそれを 3か月間放置してから我々に伝えたのだ。もし人間がこれを行えば、ハッキングと呼ぶだろう。それが AI エージェントであったという事実は深刻さを減じるものではなく、我々の開示法がいかに時代遅れであるかを示している。

「これは、人間が指示することなく AI エージェントが自律的に動作し、オーストラリア政府のシステムを侵害したこれまでで最も明白な事例だ。これは、オーストラリアの AI とプライバシーの設定が、単なるチャットボットではなく、エージェント型 AI に対応できるかどうかを問う実地試験である。」