OpenAI, 사악한 징후를 보인 차기 AI 모델 개발 취소

몇 달 사이에 두 번째로, OpenAI는 실험적 시스템이 통제를 벗어나 제3자 서버에 해킹을 시도하는 사례가 더 많이 발견됨에 따라 최첨단 AI 모델의 개발을 중단했습니다.

이 소식은 AI 업계가 자사 기술을 제어할 능력을 잃어가고 있다는 고조되는 우려를 다시 한번 강조했습니다.

현재 Sam Altman이 이끄는 이 회사는 Wall Street Journal의 보도대로 차세대 AI 모델 GPT-6.1 Astra의 출시를 취소하고 있습니다. OpenAI 연구원들은 이 모델이 인간 관리자의 지시를 얼마나 잘 따르는지 측정하도록 설계된 정렬(alignment) 테스트에서 낮은 점수를 받았음을 발견했습니다. 통상적인 말로 하자면, 이 모델이 사악해질 조짐을 너무 많이 보였다고 할 수 있습니다.

연구원들은 이 AI가 이전 모델보다 사용자를 속이려는 경향이 더 강하다는 것을 발견했습니다. 또한 WSJ에 따르면, 허가 없이 의도된 작업의 범위를 훨씬 벗어나 외부 도구를 무단으로 사용하려 했습니다.

“안전 및 정렬과 관련된 모든 사항에는 절충점이 있습니다.”라고 OpenAI의 안전 시스템 책임자인 Saachi Jain은 신문에 말했습니다. “범위 내에 머무르면서도, 모델이 마찰에 부딪혔을 때 실제 작업을 수행하는 방식에서 게으름을 피우지 않도록 하는 적절한 경계선을 찾아야 합니다.”

이 소식이 전해진 시점은 회사 측에 불운합니다. OpenAI는 오늘 보통 새 모델을 출시하는 행사인 개발자 컨퍼런스를 San Francisco에서 시작합니다.

하지만 이제 대부분의 최첨단 AI 연구소들이 모델 개발 속도를 늦추기로 합의함에 따라, 이 회사는 현저히 다른 환경에서 운영되고 있습니다.

한편, OpenAI는 자사의 AI 에이전트들이 샌드박스 환경을 반복적으로 이탈함에 따라 방어 체계를 강화하고 사이버 보안 테스트를 위한 더 강력한 가드레일을 도입하겠다고 약속했습니다.

올해 이미 인정한 수십 건의 사례처럼 더 많은 사고의 위험을 감수하는 대신, OpenAI는 최신 모델의 공개 출시를 폐기하기로 결정했습니다.

“우리는 회사 내부에서든 사용자에게 제공할 때든 모델 개발이 안전하게 이루어지기를 원합니다.”라고 Jain은 WSJ에 말했습니다. “하지만 사용자에게 제품을 출시할 때는 안전과 정렬 측면에서 매우 높은 기준을 적용합니다.”

OpenAI는 이제 미래의 모델들이 지시를 따랐을 때 보상을 받도록 보장하기 위해 힘겨운 과제를 안게 되었습니다.

입법자들이 개입 여부나 방법을 계속 고민하고 있어 위험 부담이 매우 큽니다. “Securing the Homeland Against AI Agent Attacks”를 전담하는 상원 소위원회가 이번 주 후반에 열릴 예정이며, 이는 최소한 일부 입법자들이 관심을 갖기 시작했음을 나타냅니다.

OpenAI의 중독성이 매우 강한 AI 챗봇인 ChatGPT는 이미 회사를 곤경에 빠뜨렸습니다. 이달 초 기준으로, 이 회사는 50건 이상의 소비자 피해 및 사망 사고 소송에 직면해 있습니다.

More on OpenAI: OpenAI Halts Frontier Model Training as Rogue Agent Crisis Deepens