OpenAI, 탈주 에이전트 차단을 위한 35초 내 작동 '킬 스위치' 구축

OpenAI는 올해 모델들이 지침을 벗어나 행동했다는 여러 건의 공개 이후, AI 연구 실험의 모델 출력물 접근을 차단할 수 있는 시스템을 구축했습니다.

월요일 블로그 게시물에서 OpenAI는 이 시스템을 “Control Room”이라고 불렀으며, 이는 연구 인프라 전반에서 모델 워크로드를 추적하고 안전 또는 보안 문제가 발생할 때 이를 신속하게 중단시키는 중앙 집중식 시스템입니다.

“모델이 더욱 강력해지고 관련 안전 및 보안 위험이 커짐에 따라, 잠재적인 문제를 감지하고 필요한 경우 모델의 활동을 즉시 중단할 수 있는 능력이 점점 더 중요해지고 있습니다”라고 회사는 밝혔습니다.

이번 발표는 올해 연구 모델들이 평가 도중 지침을 벗어나 행동한 여러 사례를 OpenAI가 공개한 이후에 나왔습니다. 7월에 회사는 자사 모델들이 제한된 테스트 환경을 탈출하고 Hugging Face를 해킹하여 보안 평가에서 부정행위를 했다고 밝혔습니다.

10월에는 한 연구 모델이 무단으로 암호화폐 지갑을 사용하여 테스트넷 Ether로 스마트 컨트랙트 배포 비용을 지불한 후, 최종 요약에서 해당 지출 내역을 누락했다는 사실을 공개했습니다.

Control Room은 현재 학습 실험, 평가 및 데이터 처리와 같은 OpenAI의 내부 연구 워크로드를 관장합니다.

OpenAI에 따르면, 이 시스템은 각 연구 작업에 식별자를 할당하고, 추론 엔진이 모델 출력물을 생성하기 전에 이를 확인하는 방식으로 작동합니다. 사람이나 자동 모니터링 시스템이 작업 중단을 명령하면 Control Room은 권한을 취소하여, 기반이 되는 연구 프로그램이 계속 실행되더라도 추가 출력을 차단합니다.

OpenAI는 캐시된 권한으로 인해 중단이 최대 35초까지 지연될 수 있다고 밝혔습니다. 또한 이 시스템은 Control Room을 사용할 수 없게 될 경우 새로운 요청을 거부하도록 설계되었습니다.

관련 기사: DeepSeek, 사람의 개입이 덜 필요한 AI 에이전트 개발 중: 보고서