AI 에이전트에게 열쇠를 맡긴다? USC 엔지니어들, AI 에이전트 감사 및 모니터링 도구 개발

AI 에이전트가 열심히 일하고 있다 (출처: MidJourney)

오늘날의 인공지능(AI) 에이전트는 데스크톱에서 파일을 옮기고, 컴퓨터 비밀번호에 접근하며, 개인 비서처럼 스스로 결정을 내리는 데 도움을 줄 수 있습니다. 하지만 큰 힘에는 큰 책임이 따릅니다 — AI가 실수를 저지르면 그 결과는 처참할 수 있습니다.

AI 에이전트는 이미 헤드라인을 장식한 실패 사례들이 있습니다. 사용자의 개인 데이터에 접근 권한이 있는 한 에이전트는 직장에서의 불만 사항을 파악한 끝에 묻지도 않고 사직서를 제출했습니다. 사용자의 컴퓨터 폴더에 접근할 수 있는 다른 에이전트들은 명령을 오해하여 파일을 삭제하고 데이터를 완전히 지워버린 것으로 보고되었습니다.

Yue Zhao가 이끄는 USC 컴퓨터 과학자 팀은 AI의 행동에 책임을 묻고, 인간이 핵심 결정 과정에 참여하도록 보장하며, 심각한 결과를 방지하는 안전망을 개발하는 임무를 수행하고 있습니다.

이 팀은 에이전트 실행 전 점검, 실행 중 모니터링, 문제가 발생했을 때 이미 완료된 작업을 재구성하는 세 단계 프레임워크를 따릅니다.

Zhao는 USC Viterbi School of Engineering과 USC Mark and Mary Stevens School of Computing and AI의 Thomas Lord Department of Computer Science 조교수입니다. 그는 또한 AI 위험의 감사 및 제어에 중점을 둔 FORTIS Lab을 이끌고 있습니다.

Zhao의 프로젝트와 도구들은 주요 기술 기업들의 관심을 끌었습니다. 그는 최근 자신의 연구실이 수행하는 AI 에이전트 안전 연구를 지원하는 세 개의 상을 받았습니다: 2025 Amazon Research Award, 2026 NVIDIA Academic Grant Program Award, 그리고 2026 Foresight Institute AI for Safety & Science Nodes Grant입니다.

AI가 시작되기 전: 에이전트를 TSA 보안 검색에 통과시키기

AI 에이전트는 첫 번째 행동을 취하기도 전에 Zhao가 “과도한 권한(over-privilege)”이라고 부르는 문제 때문에 위험할 수 있습니다. 이는 에이전트가 작업을 완료하는 데 필요한 것보다 더 많은 도구, 파일, 데이터베이스 또는 시스템 권한에 접근할 수 있을 때 발생합니다.

이를 해결하기 위해 연구진은 실행 전 에이전트의 코드와 구성을 검사하는 “Agent-Audit”이라는 도구를 개발했습니다.