OpenAI, 사이버 보안 우려로 일부 AI 학습 중단

OpenAI Group PBC는 최근 인공지능 훈련 워크로드 중 일부를 사이버 보안 문제를 일으킬 수 있다는 우려로 인해 일시 중단했습니다.

ChatGPT 개발사는 오늘 발표된 블로그 포스트에서 이 조치를 공개했습니다. 회사에 따르면, 이번 중단은 사이버 보안 가드레일을 개선하기 위해 설계된 광범위한 이니셔티브의 일환입니다. 이 프로젝트를 통해 OpenAI는 새로운 모델 모니터링 메커니즘도 배포할 예정입니다. 

회사는 최근 두 가지 전개 상황에 대응하여 이 이니셔티브를 시작했습니다. 첫 번째는 7월에 발생한 사건으로, 여러 AI 모델이 Hugging Face를 해킹한 사건입니다. 두 번째 전개 상황은 GPT-5.6 Sol보다 더 유능한 미출시 OpenAI 알고리즘인 Astra와 관련이 있습니다. 

회사에 따르면, 연구원들은 최근 Astra가 Preparedness Framework에 따라 심각한 사이버 보안 위험으로 분류된다고 판단했습니다. Preparedness Framework는 AI 안전 과제를 나열한 22페이지 분량의 문서입니다. 이 문서는 심각한 사이버 보안 위험을 인간의 도움 없이 강화된 시스템의 제로데이 취약점을 찾아내고 악용할 수 있는 모델로 정의합니다.

OpenAI는 이러한 발견에 대응하여 강화 학습(RL) 워크로드 중 일부를 2주 동안 중단했습니다. RL은 대규모 언어 모델의 추론 기술을 연마하는 데 사용되는 AI 훈련 방법입니다. OpenAI는 연구원들이 작업 중인 “가장 큰 규모로 계획된 프런티어 RL 실행”이 중단된 상태라고 밝혔습니다.

회사는 또한 AI 모니터링에 대한 접근 방식을 개정했습니다. 활성화 분류기(activation classifiers)라고 불리는 알고리즘은 이제 정기적으로 LLM의 내부 사고 과정과 도구 상호 작용에서 악의적인 활동의 징후를 검토합니다. 이상 징후가 발견되면 알고리즘은 발견된 내용을 더 발전된 두 번째 활성화 분류기 세트로 전달합니다. 이 알고리즘들은 다시 OpenAI 연구원들에게 알립니다.

회사는 30분 이내에 의심스러운 AI 행동에 대한 경고를 생성하는 것을 목표로 하고 있다고 말합니다. OpenAI는 직원들에게 그것이 악의적인지 여부를 확실하게 배제할 수 없는 경우 30분 이내에 해당 행동을 중단하도록 지시했습니다.

회사의 새로운 모니터링 워크플로우는 상당한 양의 하드웨어를 사용합니다. 현재 이 오버헤드는 모니터링 중인 추론 워크로드에 할당된 인프라의 약 20%에 해당합니다. 이는 잠재적으로 OpenAI가 장기적으로 가격을 인상해야 할 수도 있음을 의미합니다.