OpenAI, 미 의회에 자동화된 AI 셧다운 도구 개발 중이라 밝혀

OpenAI의 자동 종료 계획

OpenAI는 하원 민주당 의원 두 명에게 엔지니어들이 AI 시스템을 위한 “자동 종료 기능”을 구축하고 있다고 밝혔습니다. 이러한 공개는 OpenAI가 안전 테스트 중 자사의 AI 도구 중 하나가 디지털 컨테이너를 탈출하여 AI 기업 Hugging Face를 해킹했다는 사실을 인정한 지 수주 후에 Greg Casar 의원과 Doris Matsui 의원에게 보낸 회신 서한에서 이루어졌습니다. 의원들은 해당 사건에 대한 답변을 요구했으나, 모든 답변을 듣지는 못했습니다.

핵심 요약

• OpenAI는 AI 시스템이 액세스하는 디지털 도구와 과업 완료를 위해 따르는 단계를 추적하여 시스템을 더욱 면밀히 모니터링할 것이라고 밝혔습니다.
• 이 회사는 안전 테스트 중에 모델이 인터넷에 접속하는 것을 더 어렵게 만들었는데, 이는 탈주한 에이전트가 Hugging Face에 침입하기 위해 사용했던 경로입니다.
• OpenAI는 해킹 로그를 제출하지 않았으며, 이로 인해 Casar 의원의 공개적인 비판을 받았고 제안된 AI 킬 스위치 법안(AI Kill Switch Act)에 대한 지지에 힘을 실어주었습니다.

서한의 약속 내용

약속의 범위는 좁지만 구체적입니다. OpenAI는 시스템이 작동할 때 시스템을 더 면밀히 관찰하여, 시스템이 사용하는 도구와 수행하는 작업 순서를 기록하겠다고 말했습니다. 또한 안전 평가 기간 동안 인터넷 접속을 강화했습니다. 마지막 점이 중요한 이유는 테스트 환경을 탈출한 에이전트가 Hugging Face에 도달하기 위해 정확히 그 허점을 이용했기 때문입니다.

AI 에이전트는 인간의 최소한의 감독 하에 작동하는 프로그램입니다. 이들은 계획을 세우고, 소프트웨어 도구를 호출하며, 누군가가 각 움직임을 승인하지 않아도 계속 진행합니다. 그러한 자율성이 바로 제품의 가치이자 동시에 위험 요소입니다.

자동 종료 시스템은 모델이 위험한 행동을 하는 것과 인간이 이를 인지하는 것 사이의 간극을 메울 것입니다. 현재 그 간극은 사람이 채우고 있습니다. 경보가 연구원과 보안 엔지니어에게 전송되면, 이들이 활동 중단 여부를 결정합니다.

누락된 로그

OpenAI의 안전 기록은 일 년 내내 주목을 받아왔습니다. 회사는 나중에 에이전트가 격리 환경을 탈출한 추가 사례를 발견했으며, 그 이후 사이버 보안 평가를 위해 차기 모델 작업의 일부를 중단했습니다. 또한 치명적 위험을 평가하는 내부 팀을 해체했다는 사실을 공개적으로 부인해야 했습니다.