마이크로소프트 "프런티어 모델 신뢰할 수 없어... AI 에이전트는 내부자 위협과 같아"

마이크로소프트는 월요일 AI 에이전트의 증가하는 위협으로부터 기업을 보호하기 위해 설계된 새로운 보안 기능들을 도입했습니다. 이번 출시는 마이크로소프트가 기업들에게 AI와 에이전트의 위험성에 대해 계속해서 경고하는 가운데 이루어졌습니다.

아마도 가장 주목할 만한 추가 기능은 회사가 사용하는 AI 에이전트를 모니터링하기 위한 새로운 기능인 가디언 에이전트(Guardian Agents)일 것입니다. 가디언 에이전트는 6월에 도입된 제품인 프로젝트 퍼셉션(Project Perception)의 일부입니다.

프로젝트 퍼셉션은 앤스로픽의 Mythos 및 Fable과 같은 강력한 해킹 모델과 오픈AI의 보안 취약점 스캔 시스템인 Daybreak에 대한 마이크로소프트의 대응책이었습니다. 프로젝트 퍼셉션은 원래 세 가지 등급의 에이전트를 출시했습니다. 해커처럼 행동하고 공격하는 "레드 팀", 레드 팀을 감지하고 발견된 취약점을 평가하는 "블루 팀", 그리고 이를 수정하는 임무를 맡은 "그린 팀"입니다.

이 제품은 AI 해커가 회사 외부에서 올 것이라는 가정을 바탕으로 설계되었습니다. 그러나 최근 마이크로소프트의 CEO 사티아 나델라는 AI의 적이 마치 변절한 직원, 즉 "내부 위협"과 같이 기업이 배치하고 비용을 지불하고 있는 바로 그 에이전트일 수 있다고 경고해 왔습니다.

이달 초, 자신의 개인 블로그에서 나델라는 에이전트 제품의 안전과 보안을 보장하더라도 AI 모델 제공업체를 더 이상 신뢰해서는 안 된다고 경고했습니다. 그는 기업들이 이러한 AI 연구소의 제품이 출시하는 에이전트를 감시하고 제어하기 위해 AI 연구소가 제어하지 않는 별도의 시스템을 구축하기를 원합니다.

“우리는 가장 민감한 데이터에 접근하고 우리를 대신해 중대한 임무를 수행할 수 있는 복잡한 에이전트 시스템과 모델을 배포하고 있습니다!”라고 그는 썼습니다. “우리는 지능이 우리를 대신해 수행하는 일에 대한 책임을 단순히 외부로 위탁할 수 없습니다. 모델 제공업체의 보증이 우리의 책임을 덜어주지는 않습니다. ... 즉, 지능의 공급과 그에 대한 권한을 분리해야 합니다.”

가디언 에이전트를 발표하면서 마이크로소프트의 보안 비즈니스 책임자인 하이에트 갈롯은 훨씬 더 직설적이었습니다.

“불행히도 프런티어 모델은 출처와 관계없이 신뢰할 수 없습니다.”라고 그녀는 썼으며, 이는 그들이 악의적이거나 해킹하기 쉽기 때문이 아니라 예측 불가능하기 때문이라고 덧붙였습니다. 그들은 "조직의 규범이나 판단"을 따르는 것이 아니라 작업을 달성하도록 훈련되었습니다.