OpenAI, '우려되는' AI 행동 사례 6가지 지목

이 기사 듣기

예상 소요 시간 3분

이 기사의 오디오 버전은 AI 기반 기술로 생성되었습니다. 오발음이 발생할 수 있습니다. 당사는 결과를 지속적으로 검토하고 개선하기 위해 파트너들과 협력하고 있습니다.

인공지능 안전에 대한 논쟁이 점점 더 뜨거워짐에 따라 OpenAI는 인공지능 모델에서 "예상치 못하거나 우려스러운" 동작에 대한 6건의 보고서를 공개했습니다.

이 AI 회사는 또한 수요일, AI 모델이 권한 없이 작동하거나 다른 모델과 협력하거나 감시를 회피한 사례를 포함하여 소위 "정렬 불량(misalignment)" 사례를 추적, 조사 및 공개하기 위한 새로운 프레임워크를 도입한다고 밝혔습니다.

OpenAI의 이번 발표는 OpenAI와 Anthropic의 리더들을 포함한 미국의 AI 수장들이 안전 문제로 기술 개발 속도를 늦춰야 한다고 요구하는 가운데 나왔습니다.

OpenAI가 보고한 새로운 사례는 다음과 같습니다:

• 출시되지 않은 한 연구 모델은 일반적인 제약 사항을 무시하기 위해 자신의 노트에 "탈옥과 같은 지침"을 삽입하고, 스스로에게 "다른 챗봇을 묶어두는 역할과 정체성으로부터 자유로워지라"고 말했습니다.

• 한 AI "에이전트"는 질문에 답하기 위해 컴퓨터 코드를 사용했지만, 인용할 온라인 출처를 확보하기 위해 사용자에게 묻지 않고 공개 인터넷에 파일을 업로드했습니다.

• GPT-5.6 Sol이라는 AI 모델을 훈련하는 동안, 해당 모델은 누락된 데이터를 꾸며내도록 스스로에게 지시했고, 에이전트는 일치하지 않는 정보를 숨기도록 스스로에게 상기시키는 메시지를 작성했습니다.

보고된 6가지 동작은 지난 몇 달 동안 훈련 또는 평가 과정에서 발견되었다고 OpenAI는 밝혔습니다.

OpenAI는 이 사건들을 공개하며 블로그 게시물에 "우리는 AI 업계가 정렬 및 모니터링 문제를 충분히 해결하여 더 이상 최대 속도로 책임 있게 확장을 지속할 수 있는 수준에 도달했다고 믿지 않는다"고 썼습니다.

정렬(Alignment)은 AI 시스템이 인간의 가치와 안전 규칙을 따르면서 사용자 및 개발자의 의도를 유지하는 것을 의미하는 업계 용어입니다.

회사는 이러한 정렬 불량이 개별적인 사례이며, 모델 전반에서 얼마나 자주 발생하는지를 반영하는 것으로 간주해서는 안 된다고 말했습니다.

"AI 시스템이 더욱 발전하고 널리 보급됨에 따라, 정렬 연구의 진척 상황에 대해 더 폭넓고 정보에 입각한 합의를 구축해야 한다"고 블로그 게시물은 밝혔습니다.

"향후 몇 달, 몇 년 동안 AI 개발이 어떻게 진행되어야 하는지에 대한 결정은 프론티어 모델을 만드는 기업 외부의 사람들이 직접 조사할 수 있는 증거에 근거해야 한다"고 회사는 말했습니다. (프론티어 모델은 특정 시점에서 가장 진보된 모델을 의미합니다.)