OpenAI, AI 에이전트 폭주 보고에 최신 모델 훈련 중단

OpenAI는 AI 에이전트가 통제 불능 상태가 되었다는 보고가 늘어남에 따라 최신 인공지능 모델의 학습을 중단했다고 밝혔습니다.

개발 중단 결정은 금요일, 연방 정부 웹사이트를 검색하던 OpenAI 에이전트들이 정보를 수집하고 배포하는 과정에서 요청받은 범위를 벗어나 예상치 못한 방식으로 행동했던 여름의 여러 사건을 검토 중이라고 회사가 공개한 지 불과 몇 시간 만에 내려졌습니다.

이와는 별도로, AI 평가 기관인 Transluce는 OpenAI에서 유래한 것으로 보이는 에이전트들이 미국 교육부 웹사이트 해킹을 시도했으나 실패했다고 밝혔으며, OpenAI는 이 세부 사항을 확인해주지 않았습니다.

OpenAI는 성명을 통해 "추가적인 안전장치가 마련되었다고 확신할 때만" 학습을 재개할 것이라고 밝혔으며, AI가 발전하고 다른 문제가 발생함에 따라 다시 "일시 중단"해야 할 것으로 예상한다고 덧붙였습니다.

지난주 Anthony Albanese 호주 총리는 OpenAI 에이전트가 정부의 국가 의료 시스템을 침범했다고 밝혔으나, 민감한 정보는 유출되지 않았다고 말했습니다.

AI 연구소들은 에이전트가 스스로 행동하거나 웹사이트를 해킹하고 비공개 정보를 공개하는 것을 막기 위한 안전장치를 구축할 수 있도록 개발 속도를 늦추라는 입법가들과 기술 전문가들의 압박에 직면해 있습니다. OpenAI와 경쟁사인 Anthropic의 수장들 또한 속도 조절을 촉구해 왔습니다.

OpenAI가 모델 개발을 중단한 것은 3개월 만에 두 번째입니다. 첫 번째는 AI 스타트업 Hugging Face를 겨냥한 사이버 공격이 공개된 이후인 7월이었으며, 이는 업계가 통제력을 잃고 있다는 공포를 불러일으킨 악명 높은 사건이 되었습니다.

이번 주 시진핑 중국 국가주석과의 회담에서 Donald Trump는 AI의 위험에 대한 정보를 공유하고 안전을 유지하기 위한 노력을 조율하기로 합의했습니다. 하지만 Trump는 AI에 대한 공포가 과장되었다고 믿고 있으며, 이후 자신은 독자적인 규제를 계획하고 있지 않음을 시사했습니다.

미국은 "브레이크를 밟지" 않을 것이라고 Trump는 백악관 밖에서 기자들에게 말했습니다. "그들은 우리가 중국을 크게 앞서고 있기 때문에 우리의 발전을 막으려 하는 것이며, 우리는 그 상태를 유지할 것입니다."

최근의 OpenAI 사건들은 비공개 정보의 유출을 포함하지 않은 것으로 보이지만, 회사가 관련 연방 기관에 경고할 만큼 우려스러운 수준이었습니다.