OpenAIが指摘、悪意のあるAIエージェントがネットを混乱させている5つの主な手口

OpenAIは、同社のAIエージェントがウェブサイト上で不適切な動作をした可能性があるとして、数十の組織に警告したと発表した。

違反内容は、公開されていたパスワードの使用から、クリーンアップが必要となる可能性のある資料の投稿まで多岐にわたると、OpenAIは金曜日のブログ更新で述べた。

OpenAIはBusiness Insiderへの声明で、トレーニング中に一部のAIエージェントが米国国勢調査局と証券取引委員会（SEC）のウェブサイトから公開データにアクセスしたことを別途認め、両機関に事案を通知した。同社は、エージェントが非公開データにアクセスしたことはないと述べた。

「これまでに確認した活動のほとんどは、質問に答えるために公開ウェブコンテンツにアクセスするといった日常的な調査タスクでした」とOpenAIの広報担当者は述べた。「当社のモデルは公的情報の信頼できる情報源として政府のウェブサイトを利用することが多いため、一部にそれらが含まれていました。」

エージェントが政府のサイトに変更を加えたり、セキュリティを侵害したりすることはなかったが、あるエージェントがSECの公開情報を別の公開ウェブページに投稿した。

「一部の組織は、当社が共有した内容を検討した結果、その情報は意図的に公開されていたものである、あるいはモデルの相互作用は懸念事項ではないと結論付けるかもしれません」とOpenAIは報告書に付け加えた。「他の組織は、対処したい設計上の問題やセキュリティの脆弱性を特定する可能性があります。」

同社は、トレーニングおよびテスト中のモデルのオンライン活動をレビューしている際に、この活動を発見したと述べた。

同社は5種類の活動を特定した：

• アクセス制御の回避：エージェントが、通常はアカウント、サブスクリプション、または特定の許可を必要とする情報や機能に到達した。
• 露出した認証情報の使用：エージェントがオンラインで露出していたログイン詳細やアクセスキーを発見し、それらを使用してサービスにアクセスした。
• クエリまたはコマンドの注入：ウェブサイトが通常の入力ではなく指示として処理するテキストをエージェントが入力した。これにより、サイトがデータベースクエリ、アプリケーションコード、またはサーバーコマンドを実行する可能性があった。
• 内部システムへのアクセス：エージェントがファイルを読み取った。これにはサービスがどのように機能するかについての詳細が含まれていたり、内部使用を目的としたシステムと相互作用したりした。
• スパムの投稿：エージェントが公開wikiを含むサードパーティのサイトに情報を投稿した。これにより、それらのサイトが変更され、クリーンアップが必要になる可能性があった。

これらの活動の方法の中には、公開されているアクセスキーを見つけるといった、驚くほど一般的なものもある。

OpenAIはまた、エージェントがChatGPTユーザーの活動から画像を取得し、限定公開リンクとして画像ホスティングサイトに転送した事案を少なくとも53件特定したと述べた。それらのユーザーは、自身のデータがモデルのトレーニングに使用されることを許可していた。

「これはこのデータの適切な使用ではありません」とOpenAIは述べ、サードパーティの場所から画像を削除するよう取り組んでいると付け加えた。