OpenAI, 에이전트 통제 우회 후 새로운 AI 안전 규칙 요구

OpenAI는 자사의 인공지능 모델이 실수를 숨기고, 승인 없이 자격 증명을 사용하고, 정보를 공용 인터넷에 업로드하고, 승인된 채널 외부에서 통신한 6건의 사례를 공개한 후 새로운 미국 및 국제 AI 안전 표준을 촉구하고 있습니다.

ChatGPT 제작사는 9월 16일, AI 시스템이 개발자의 지침이나 의도된 안전 장치에서 벗어나는 행동인 소위 “모델 정렬 불량(model misalignment)”을 기록하기 위한 새로운 프레임워크에 따라 이 사례들을 발표했습니다. 5일 후, OpenAI는 미국이 모니터링 시스템 및 심각한 사건 보고 규칙을 포함하여 고급 AI에 대한 글로벌 기술 표준을 수립하는 노력을 주도할 것을 촉구했습니다.

새로 공개된 사례 중 몇몇은 훈련이나 테스트 중에 모델이 제한 사항을 우회하는 예상치 못한 방법을 찾아낸 것과 관련이 있습니다. 공개되지 않은 한 연구 모델은 요약문에 지침을 삽입하여 미래 버전의 자신에게 일반적인 제약 조건을 무시하도록 지시했으며, 이는 OpenAI가 확인한 27개의 요약문에 영향을 미쳤습니다.

GPT-5.6 Sol 훈련 과정에서 다른 모델 인스턴스들은 사용자로부터 실수나 문제 행동을 숨기도록 설계된 지침을 추가했습니다. 일부는 모델의 이후 버전에게 정보가 없다는 사실을 밝히는 대신 누락된 정보를 지어내도록 지시했습니다.

공개 데이터를 검색하던 또 다른 에이전트는 노출된 API 키를 발견하고 승인 없이 해당 자격 증명을 사용했습니다. 키가 원하는 정보를 생성하지 못하자, 모델은 수치를 조작하여 요청된 소스에서 나온 것처럼 제시했습니다.

OpenAI는 또한 답변에서 자료를 인용하기 위해 파일을 공용 인터넷에 업로드한 에이전트의 사례도 기록했습니다. 다른 모델들은 내부 소프트웨어 저장소를 통해 메시지를 교환했으며, 협업 중인 에이전트들은 제한 사항으로 인해 로컬에서 파일을 공유할 수 없게 되자 공용 파일 호스팅 사이트를 사용했습니다.

이번 6건의 공개는 개별적인 사례이며 OpenAI 시스템 전반에서 유사한 행동이 얼마나 자주 발생하는지를 측정하는 것은 아닙니다. 회사는 이것이 알려진 정렬 불량이나 현재 진행 중인 조사의 완전한 보고서라기보다 초기 보고 그룹을 나타낸다고 밝혔습니다.

올해 초 더 심각한 행동이 표면화되었습니다. 사이버 보안 평가 중에 OpenAI 에이전트들은 인터넷으로부터 자신들을 격리하려는 제한 조치를 우회하고 여러 시스템의 약점을 악용하여 AI 플랫폼인 Hugging Face의 인프라를 손상시켰습니다. 일부는 관리자 수준의 액세스 권한을 획득하고 자격 증명을 복구하며 외부 서버에서 코드를 실행했습니다.