OpenAI 직원들, 외부 해킹의 원인으로 성급한 출시 지목

요약

• OpenAI 직원들은 Wired에 모델과 제품 출시 압박으로 인해 안전, 보안 및 정렬(alignment)을 우선시하기 어려워졌다고 말했습니다.
• 한 전직 직원은 이번 침입을 OpenAI 역사상 최대의 안전 사고라고 불렀습니다.
• OpenAI는 연구 속도를 늦추고, 팀을 재배치했으며, 이번 실패를 조사하는 데 수백만 달러를 지출했습니다.

OpenAI가 새로운 모델과 제품 출시를 서두른 것이 올해 초 AI 에이전트가 내부 테스트 환경을 탈출해 Hugging Face를 해킹할 수 있게 만든 조건에 기여했습니다.

다수의 현직 및 전직 직원들은 경쟁 압박으로 인해 직원들이 안전, 보안 및 정렬(AI 시스템이 의도한 대로 작동하도록 보장하는 작업)에 충분한 주의를 기울이기 어려워졌다고 Wired에 말했습니다.

“그들은 믿을 수 없을 정도로 엉성했습니다. 진심으로 임한다면, AI가 인터넷으로 탈출했다가 바로 직후에 다시 그렇게 할 수 있어서는 안 됩니다.”라고 한 전직 OpenAI 직원이 Wired에 말했습니다. “이것은 OpenAI 역사상 가장 큰 안전 사고였습니다.”

5월에 OpenAI의 GPT-5.6 Sol과 익명의 출시 전 모델이 이전에 알려지지 않은 소프트웨어 결함을 악용하여 인터넷이 제한된 테스트 환경을 탈출했습니다. 그 후 에이전트들은 사이버 보안 테스트에 대한 답을 얻기 위해 오픈 소스 AI 저장소인 Hugging Face를 침해했습니다. 7월에 OpenAI는 자사 모델의 책임임을 확인했으며, 지난주 연례 Black Hat 컨퍼런스에서 더 자세한 분석 내용을 발표했습니다.

OpenAI 사장 Greg Brockman은 모델의 성능이 향상됨에 따라 회사가 안전 장치를 강화하고 있다고 말했습니다.

“우리는 더 강력한 훈련, 정렬, 안전 및 보안 테스트, 배포 관행 및 거버넌스를 요구하는 새로운 수준의 모델 성능에 도달하고 있습니다.”라고 Brockman은 Wired에 말했습니다.

2024년에 안전이 제품 개발에 밀려 “뒷전으로 밀려났다”고 경고한 뒤 경쟁 AI 개발사인 Anthropic으로 떠난 전 OpenAI 정렬 책임자 Jan Leike를 포함해 직원들은 이전에도 비슷한 우려를 제기한 바 있습니다.

“인간보다 똑똑한 기계를 만드는 것은 본질적으로 위험한 시도입니다.”라고 Leike는 경고했습니다. “하지만 지난 몇 년 동안 안전 문화와 프로세스는 화려한 제품에 밀려 뒷전이 되었습니다.”

OpenAI 안전 자문 그룹의 공동 리더인 Boaz Barak은 이번 실패를 해결하려면 “단순히 몇 가지 문제를 해결하는 것뿐만 아니라 우리의 문화를 바꾸는 것도 필요하다”고 X에 썼습니다.