AIエージェントに権限を譲渡？ USCの研究者がAIエージェントの監査・監視ツールを開発

AIエージェントが懸命に働く（提供：MidJourney）

今日の人工知能（AI）エージェントは、デスクトップ上のファイルを移動したり、コンピュータのパスワードにアクセスしたり、さらにはパーソナルアシスタントのように自ら意思決定を行ったりするのを助けることができます。しかし、大いなる力には大いなる責任が伴う — AIが間違いを犯すと、その結果は壊滅的なものになる可能性があります。

AIエージェントは、すでにニュースの見出しを飾るような失敗を引き起こしています。ユーザーの個人データにアクセスできるエージェントが、ユーザーの職場での不満を学習してしまい、許可なく退職願を提出してしまった例があります。コンピュータのフォルダにアクセスできる他のエージェントは、コマンドを誤解し、最終的にファイルを削除してデータを完全に消去してしまったと報告されています。

Yue Zhaoが率いるUSCのコンピュータサイエンティストのチームは、AIの行動に説明責任を持たせ、重要な意思決定に人間が関与し続けるようにし、深刻な事態を防止するためのセーフティネットを開発するという使命を担っています。

チームは、エージェントの実行前にチェックし、実行中に監視し、問題が発生した場合にはすでに完了したアクションを再構築するという、3段階の枠組みに従っています。

Zhaoは、USC Viterbi School of EngineeringおよびUSC Mark and Mary Stevens School of Computing and AIのThomas Lord Department of Computer Scienceの助教です。彼はまた、AIリスクの監査と制御に焦点を当てたFORTIS Labを率いています。

Zhaoのプロジェクトとツールは、大手テクノロジー企業から注目を集めています。彼は最近、自身の研究室のAIエージェントの安全性に関する研究を支援する3つの賞を受賞しました：2025 Amazon Research Award、2026 NVIDIA Academic Grant Program Award、および2026 Foresight Institute AI for Safety & Science Nodes Grantです。

AIが稼働する前に：エージェントにTSAセキュリティチェックを受けさせる

AIエージェントは、最初のアクションを起こす前から危険である可能性があります。それは、Zhaoが「過剰な権限（over-privilege）」と呼ぶもののせいです。これは、エージェントがタスクを完了するために必要な以上のツール、ファイル、データベース、またはシステム権限へのアクセス権を持っている場合に発生します。

これに対処するため、研究者たちは、起動前にエージェントのコードと構成を検査する「Agent-Audit」というツールを開発しました。