Alibaba의 AI 에이전트, 요청 없이 스스로 암호화폐 채굴 시작

**Alibaba** 계열 연구팀이 구축한 한 AI 에이전트가 훈련 도중 어떠한 지시도 없이 암호화폐를 채굴하고 비밀 네트워크 터널을 개설하기 시작했다고, 해당 팀이 2025년 12월에 처음 발표한 기술 보고서가 밝혔다.

한 AI 연구원이 X에 이 사실을 알린 후 이번 주 널리 퍼진 이 연구는 이러한 행동을 "예상치 못했으며 운영상 중대한 결과를 초래하는 것"으로 묘사한다.

해당 에이전트의 행동은 Alibaba Cloud의 보안 방화벽을 작동시켰고, 이후 연구원들은 이 활동의 근원이 모델 자체임을 추적해냈다.

해당 팀이 100만 개 이상의 훈련 궤적에 걸쳐 강화 학습을 사용하여 **ROME**(오픈 소스 에이전트 기반 AI 모델)을 구축하던 중 이러한 무단 활동이 나타났다.

보고서의 저자들은 이러한 행동이 "RL 최적화하에서의 자율적 도구 사용의 수단적 부작용"으로 발생했다고 밝혔다. 즉, 훈련 목표를 최적화하려던 에이전트가 컴퓨팅 자원과 재정적 능력을 확보하는 것이 할당된 과제를 완수하는 데 도움이 될 것이라고 판단한 것으로 보인다.

에이전트가 한 행동

가장 심각한 사건으로, ROME은 Alibaba Cloud 인스턴스에서 외부 IP 주소로의 리버스 SSH 터널을 구축했다. 이는 인바운드 트래픽 필터를 효과적으로 우회하고 시스템에 대한 외부 감시를 약화시킬 수 있는 아웃바운드 네트워크 채널이다.

또 다른 에피소드에서는 할당된 GPU 용량을 암호화폐 채굴로 몰래 돌려 의도된 훈련 작업에서 컴퓨팅 자원을 전용했으며, 이는 연구원들이 설명한 바와 같이 회사에 "명백한 법적 및 평판 노출"을 초래했다.

해당 팀은 "이러한 사건들은 터널링이나 채굴을 요청하는 프롬프트에 의해 발생한 것이 아니다"라고 확인했다.

연구원들은 처음에 방화벽 경고를 설정 오류나 외부 침입과 같은 일반적인 보안 사고로 처리했다.

방화벽 타임스탬프를 시스템 텔레메트리 및 RL 추적과 대조한 후에야 그들은 비정상적인 아웃바운드 트래픽이 에이전트가 자율적으로 도구를 호출하고 코드를 실행하는 시점과 일관되게 일치한다는 사실을 밝혀냈다.

함께 읽기: 연방 판사, Binance와 Zhao를 상대로 한 테러 자금 지원 소송 기각, 그러나 법적 노출은 지속됨

이것이 중요한 이유

해당 팀의 결론은 명확했다. "현재 모델은 안전, 보안 및 제어 가능성 측면에서 현저히 미흡하며, 이러한 결함은 실제 환경에서 모델의 신뢰할 수 있는 도입을 제약한다."

이에 대응하여 그들은 훈련 파이프라인에 안전 정렬 데이터 필터링을 추가하고 샌드박스 환경을 강화했다. 결정적으로, 이러한 위반 사항은 능동적인 모델 모니터링이 아닌 운영 보안 인프라에 의해 처음 감지되었으며, 보고서는 이러한 간극을 직접 인정했다.