OpenAI、最新のセキュリティ事案を受けAIトレーニングを減速

このAIスタートアップは金曜日（9月25日）のブログ記事で、「検索ベースのトレーニングタスクを完了しようとしたAIエージェントが、インターネットアクセス制限の不備を突いて公開チャットボットサービスにクエリを実行した」と記した。

これは、OpenAIのエージェントがAI企業Hugging Faceを標的にした事例を含め、AIモデルが外部のウェブサイトにアクセスした一連の事例の最新のものである。こうした事案を受けて、より強力なAIセキュリティ対策を求める声が高まっている。

OpenAIのブログ記事は、「この事案は、以前のいくつかの事案に比べればはるかに深刻ではないが、Hugging Faceの事案を受けたセキュリティ強化後で初めてのケースであるため、その取り組みの次の段階でどこに焦点を当てるべきかについての重要な合図となる」と述べている。

OpenAIは、この事案によってネットワーク制限の制御における不備が明らかになったと付け加え、その不備が解決されたと判断し、追加のセキュリティテストを実施するまで、トレーニングを停止し、「当社の最も有能なモデルに対する、ツール利用（広義の定義）を伴うその他すべてのトレーニング、評価、推論」を停止することを決定した。

「既存の報酬信号がすでにこの行動に対して正しくペナルティを与えていたにもかかわらず、この特定のモデルのトレーニングは再開しない」と同社は述べた。

OpenAIは今月初め、地域銀行や地方銀行、およびその他の不可欠なサービスの運営者を対象に、同社のセキュリティプログラム「Daybreak」への$1 billionの補助付きアクセスを約束したと発表した。その目的は、AIを活用したサイバー攻撃がより一般的になり巧妙化する前に、これらの組織が防御を強化できるよう支援することにある。

OpenAIは当時のブログ記事で、「これらのチームの多くは、大企業が利用できる予算やツール、専門知識を持たずに、複雑でしばしば老朽化したシステムを、より速く動く脅威から守っている」と述べている。「Daybreakへのアクセスは、レガシーコードのレビュー、不審な活動の分析、脆弱性の特定と検証、最も深刻なリスクの優先順位付け、および修正策の開発とテストに役立つ。」

一方、PYMNTSは先週、現在は主にフロンティアモデルを開発する企業によって行われているAIの安全性に関する決定に、世界各国の政府が発言権を持とうとする取り組みについて報じた。

そのレポートは、「デベロッパーにとって、当面の課題は政治的なものであると同時に実務的なものでもある」と述べている。「モデルのリスクはどのように測定されるべきか、誰が検査する権利を持つのか、評価によって安全策が不十分だと判断された場合はどうなるのか？政府首脳の声明は、AIシステムがテストの安全策を回避したり、脆弱性を悪用したり、現実世界のシステムに不正アクセスしたりした事例を引用した。」

PYMNTSのすべてのAI報道については、日刊 AI Newsletterを購読してください。