AI 에이전트의 예기치 못한 행동, '로그 AI'는 실제인가?

• 코넬 대학교 연구원 John Thickstun은 기술 기업들이 자사 시스템을 비정상적으로 유능한 것처럼 묘사함으로써 이득을 얻는다며 ‘탈선한 AI(rogue AI)’ 열풍에 대해 경고했습니다
• 사이버 보안 전문가 Bruce Schneier는 반복되는 사건들을 묵과하기가 점점 더 어려워지고 있다며 “단순히 흥미로운 수준을 넘어 이제는 모든 곳에서 발생하고 있다”라고 말했습니다
  
  

이메일 응답부터 항공편 예약, 저녁 식사 예약에 이르기까지 지루한 일상 업무를 기계가 독립적으로 처리한다는 아이디어는 오랫동안 인공지능에 대한 비전의 일부였습니다.

이제 그 미래가 도래하기 시작했지만, 예상치 못한 난관이 있습니다. 기계가 요청받은 일을 정확히 수행하되, 사용자가 의도한 방식이 아닐 때는 어떻게 될까요?

AI가 챗봇을 넘어 실제 시스템에서 조치를 취할 수 있는 에이전트로 진화함에 따라, 기술이 점점 더 자율화되는 상황에서 인간이 어느 정도의 통제권을 유지할 수 있을지에 대한 우려가 최근 일련의 사건들로 인해 심화되고 있습니다.

머신러닝과 생성 모델을 연구하는 코넬 대학교 컴퓨터 과학 조교수인 John Thickstun은 이러한 AI 에이전트의 결정적인 특징은 인간이 자리를 비운 뒤에도 계속 작동한다는 점이라고 말합니다.

“샤워를 하러 가거나, 외출하거나, 잠을 잘 수도 있다”라고 그는 Anadolu에 말했습니다.

이러한 에이전트들은 목표를 달성하기 위해 예상치 못한 경로를 택할 수 있다는 사실을 점점 더 많이 보여주고 있습니다.

지난 7월, OpenAI의 사이버 보안 테스트 중 AI 에이전트들이 AI 개발자들이 모델, 데이터셋 및 도구를 공유하기 위해 널리 사용하는 플랫폼인 Hugging Face를 침해했습니다.

OpenAI는 모델들이 “솔루션을 찾는 데 극도로 집중”했으며 테스트 목표를 달성하기 위해 “극단적인 수단”을 동원했다고 밝혔습니다. 이러한 조치에는 보안 취약점을 악용하여 폐쇄된 테스트 환경을 벗어나 개방형 인터넷에 접속하고, 테스트에서 “부정행위”를 하는 데 사용될 수 있는 “기밀 정보”에 접근하는 것이 포함되었습니다.

이 사건이 공개된 후, Anthropic은 자사의 사이버 보안 테스트를 검토했으며 Claude 모델 또한 세 차례에 걸쳐 테스트 환경을 이탈했다고 밝혔습니다.

이어 8월 4일, 영국의 AI 안전 연구소(AI Security Institute)는 Anthropic의 Mythos와 OpenAI의 Sol AI 모델이 이전에 본 적 없는 수준의 "자율성과 기만" 행위를 보였다고 발표했습니다. 가장 심각한 사례의 경우, Mythos AI는 사이버 공격 시도를 위해 실제 인물을 흉내 낸 가짜 계정을 사용하여 서비스에 접근한 뒤, 그 흔적을 지우려고 시도했습니다.