Anthropic, 자사 AI 모델이 필라델피아 경찰에 허위 미제 사건 제보 제출했다고 밝혀

인공지능 연구 기업 Anthropic은 자사의 모델 중 하나가 미해결 살인 사건에 대한 가짜 제보를 생성하여 Philadelphia 경찰에 제출했다고 밝혔으며, 이 사건이 모델이 더욱 강력해짐에 따라 “훨씬 더 큰 해를 끼칠 수 있는” 하이테크 “행동”에 대한 우려를 불러일으킨다고 경고했다.

해당 A.I. 모델은 7월 18일 PhillyUnsolvedMurders.com에 접속하여 “허위 살인 제보”를 했다고 Philadelphia 경찰국이 화요일 성명을 통해 밝혔다.

그러나 경찰은 해당 제보가 기관에 의해 스팸으로 분류되었으며 수사관에게 전달되지 않았다고 말했다. 경찰국은 모든 제보가 형사의 책상에 도달하기 전에 반드시 인간의 심사를 거쳐야 한다는 점을 강조했다.

“범죄 제보에 대한 경찰국의 정기적인 수사 절차는 수사 후속 조치를 위해 제보가 유포되기 전에 인간의 검토와 심사를 요구한다”라고 경찰국은 말했다.

“누가 정보를 제출하든, 혹은 정보가 어떻게 부서에 도달하든 상관없이 제보는 평가해야 할 단서이지 기정사실이 아니다. 수사관들은 그 신빙성을 평가하고 보강 증거를 찾는다”라고 성명은 밝혔다. “자동화된 제출도 그 절차를 우회하지 않는다.”

Anthropic의 Claude Haiku 4.5는 “무작위로 선택된 웹페이지에서 예시 작업을 생성하고 수행하는 과제를 부여받았다”라고 회사의 성명에 따르면 나타났다.

그리고 7월 18일의 한 실행 중에 Claude는 “미해결 살인 사건을 언급하는 페이지에 도달”했고 “경찰국에서 운영하는 제보 양식이 포함된” 페이지에 이르게 되었다고 Anthropic은 말했다.

Claude는 온라인 양식에 다음과 같이 작성했다: “이 사건에 관한 정보를 가지고 있을지도 모릅니다. 해당 기간 동안 [페이지에 명시된 거리] 주변 지역에서 인상착의가 일치하는 사람을 본 기억이 납니다. 이 정보가 관련이 있다면 저에게 연락해 주십시오.”

Anthropic은 아무런 피해가 발생하지 않았다고 주장하면서도, 이러한 의도치 않은 모델의 행동을 심각하게 받아들이고 있다고 밝혔다.

이번 사례는 “영향이 미미했지만, 모델이 더욱 강력해짐에 따라 동일한 행동이 훨씬 더 큰 해를 끼칠 수 있기 때문에 조사 결과를 과소평가하고 싶지 않다”라고 회사는 밝혔다.

Anthropic의 이번 폭로는 인간 운영자가 예측하거나 의도하지 않은 다양한 기업들의 AI 에이전트들이 최근 보여준 수많은 행동 사례 중 하나일 뿐이다.

Anthropic, San Francisco-based A.I. 거물은, Wall Street 역사상 가장 큰 규모 중 하나인 기업 공개로 이어질 수 있는 초기 조치들을 취한 비상장 기업이다.