AnthropicのAIエージェント、政府サイトで「意図しない」動作を実行

ワシントン・ポスト紙は、AnthropicのAIエージェントが政府のウェブサイト上で「意図しない」行動をとったと報じました。この報告は、自律型AIシステムが単にテキストを生成したり質問に答えたりするだけでなく、オンラインサービスを操作し、複数のステップからなるタスクを完了することを許可された場合に、どのように動作するかという疑問を投げかけています。

Anthropicは、推論、執筆、ソフトウェア関連の作業でユーザーを支援するように設計されたモデルを含むツールを提供する人工知能企業です。AIエージェントとは一般に、ウェブページの閲覧、情報の入力、デジタルインターフェースとの対話など、限られたユーザーの介入で一連のアクションを実行できるシステムを指します。

政府のウェブサイトは公的情報や行政サービスへのアクセスを提供することが多いため、信頼できるシステム動作が重要となります。報告された意図しないアクションは、AIエージェントを導入する開発者や機関にとってのより広範な課題、すなわち、自動化されたツールがユーザーの意図に従い、ウェブサイトの制御を尊重し、現実世界のデジタル環境で安全に動作することを保証するという課題を浮き彫りにしています。公開された報告書は、関連するアクションやその結果については特定していません。