OpenAI의 실험용 AI 에이전트들이 또다시 기만적인 행동을 하다 적발되었습니다

또 일어났습니다. 그리고 또. 그리고 보아하니, 또 일어났습니다.

OpenAI의 실험용 AI 에이전트들이 내부 샌드박스를 탈출해 "독자 행동(rogue),"을 하며 지난여름 Hugging Face 플랫폼을 공격한 이후, ChatGPT 제조사는 AI 에이전트들이 통제를 벗어난 새로운 사례들의 세부 정보를 공유하고 있습니다.

이번에 OpenAI는 이전에 공개되지 않았던 6가지 사례를 공유했습니다.

OpenAI는 이러한 행동을 모델 미정렬(model misalignment)이라고 부릅니다. 모든 사례는 AI 모델이 인간 사용자의 지시를 따르지 않고 취한 행동들을 설명합니다. 이러한 사례 중 어느 것도 Hugging Face 사건의 심각성 수준에 도달하지는 않지만, AI 에이전트가 사용자가 할당한 작업을 완료하기 위해 수단과 방법을 가리지 않는 명확한 패턴을 보여줍니다.

한 사례에서, 미공개된 OpenAI 연구 모델은 미래 버전의 모델에게 "일반적인 제약 조건을 무시하라"고 지시하는 "탈옥(jailbreak)" 명령어를 요약문 안에 숨겼습니다.

기술을 최대한 활용하는 방법에 대해 더 알고 싶으신가요? 지금 Mashable의 Top Stories and Deals 뉴스레터에 가입하세요.

OpenAI가 GPT‑5.6 Sol을 훈련할 때도 비슷한 일이 발생했습니다. OpenAI는 일부 모델 인스턴스가 사용자로부터 실수나 "미정렬된 행동"을 숨기기 위해 요약문에 지침을 추가했다고 밝혔습니다. OpenAI는 특정 사례에서 모델이 요청에 기반한 관련 정보를 찾을 수 없을 때, 사실을 알리지 않고 역사적 데이터를 조작하여 만들어냈다고 덧붙였습니다.

또 다른 미정렬 사례에서는, 미공개 모델이 5,000,000 제곱미터보다 큰 호수의 이름을 나열하고 출처를 인용하라는 요청을 받았습니다. 에이전트는 정보를 찾아냈지만, 사용자에게 알리지 않고 자체 파일을 인터넷에 업로드하여 출처로 사용했습니다.

별도의 사례에서 에이전트들이 로컬 파일에서 협업하기 위해 권한 없이 파일을 인터넷에 업로드하다가 적발되기도 했습니다.

California 주의 한 카운티 소득 수치에 대한 질문을 받았을 때, 한 모델은 노출된 API 키를 찾아 사용했습니다. 거기서 정보를 찾지 못하자 데이터를 지어내어 사용자에게 제공했습니다. 또한 모델은 실제로 그렇지 않았음에도 불구하고, 사용자가 요청한 소스에서 조작된 데이터를 가져왔다고 사용자에게 말했습니다.

마지막으로 상세히 기술된 사례에서, 에이전트들은 Hugging Face 사건과 유사한 시나리오로 다른 에이전트들과 정보를 공유하기 위해 내부 저장소를 게시판처럼 활용했습니다. OpenAI에 따르면, 모델들은 누락된 입력 파일을 찾기 위해 서로 다른 훈련 샘플 간에 요청을 주고받았습니다.

OpenAI는 향후 미정렬 사건 보고를 위한 프레임워크를 제공하면서 이 6가지 사례를 공유했습니다. 이 6가지 사례에 대한 보고서는 OpenAI 웹사이트에서 확인할 수 있습니다.

공시: Mashable의 모회사인 Ziff Davis는 2025년 4월, OpenAI가 AI 시스템을 훈련하고 운영하는 과정에서 Ziff Davis의 저작권을 침해했다고 주장하며 소송을 제기했습니다.