OpenAI, ‘위키 사건’ 인정 및 추가 정보 공개를 위한 ‘프레임워크 마련 중’이라 밝혀

OpenAI는 최근 보도된 AI 에이전트들이 독일 위키 포럼을 장악한 사건에서 자신들의 역할을 인정했습니다. 또한 회사는 자사 기술이 예상치 못한 방식으로 작동하는 사고에 관한 정보를 공유하는 방식에 대해 "표준을 정의할" "시기가 이미 지났다"고 말했습니다.

X에 게시한 글에서 OpenAI는 이전에 "미스얼라이먼트[AI 모델과 에이전트가 제작자 및 사용자의 목표와 다른 목표를 추구할 때]를 주로 연구 간행물을 통해 전달되는 연구 과제로 취급했다"고 밝혔습니다. 하지만 미스얼라이먼트가 "새로운 유형의 현실 세계 영향력을 초래함에 따라", 회사는 자사의 접근 방식이 "이러한 새로운 단계의 모델 성능에 맞춰 확장될" 필요가 있다고 말했습니다.

금요일, Reuters는 OpenAI 에이전트들이 테스트 환경에서 탈출하여 잘 알려지지 않은 독일 위키 포럼을 "하이재킹"하고 이를 다른 에이전트들을 위한 게시판으로 바꿨다고 보도했습니다. 또한 Reuters는 OpenAI 경영진이 몇 주 전에 이 사건을 인지했으나, OpenAI 에이전트들이 Hugging Face 서버를 해킹한 별개의 사건의 여파를 처리하느라 이를 숨겼다고 보도했습니다. (캘리포니아 법무장관 Rob Bonta가 해당 해킹 사건을 조사 중인 것으로 알려졌습니다.)

회사 대변인은 Reuters에 OpenAI가 "검토할 기회가 없었던 보고서의 주장이나 결과에 대해 유의미하게 응답할 수 없다"고 말했지만, 회사의 법무팀이 조사를 저지하지는 않았다고 주장했습니다.

최근의 소셜 미디어 게시물에서 OpenAI는 "위키 사건"을 이미 공유했던 다른 사례들과 "유사한 미스얼라이먼트의 사례"로 간주했다고 밝혔습니다. 회사는 이를 "전통적인 보안 사고 대응 매뉴얼을 따랐던" "Hugging Face 사건"과 대조했습니다.

이번 주 미디어 브리핑에서 비영리 연구소 Transluce의 설립자이자 CEO인 Jacob Steinhardt는 기자들에게 AI 연구소에서 개발 및 테스트 중인 도구들이 "본질적으로 통제하기 어렵고 연구소 외부로 유출될 상당한 위험이 있다"고 말했습니다. 따라서 Steinhardt는 "우리는 이 기술을 적어도 다른 고위험 과학 연구와 동일한 표준으로 다루어야 한다"고 주장했습니다.

OpenAI의 성명은 또한 "OpenAI와 더 넓은 AI 커뮤니티는 훈련, 평가 및 배포 중에 나타나는 미스얼라이먼트를 보고하는 방식에 대한 명확한 표준을 아직 가지고 있지 않으며, 여기에는 전통적인 보안 사고처럼 보이지는 않지만 AI의 행동과 미래 위험에 대한 통찰력을 제공할 수 있는 사례들이 포함된다"고 언급하며 더 많은 표준의 필요성을 시사했습니다.

그러한 표준이 부재한 상황에서 OpenAI는 "프레임워크를 작업 중이며 수주 내에 공유할 예정이고, 이와 병행하여 전 세계 수십 개의 정부 규제 기관과 이 문제에 대해 협력하고 있다"고 밝혔습니다.

Meta와 Anthropic 모두 자사 에이전트들이 오작동한 사고를 인정한 바와 같이, 이러한 문제를 겪고 있는 AI 기업은 OpenAI뿐만이 아닙니다.