OpenAI, AI 오용 사례 공개를 위한 새로운 프레임워크 구축

OpenAI는 Wednesday에 AI 정렬 불일치 사고를 공개적으로 알리는 방식에 대한 새로운 프레임워크를 발표했으며, 회사는 이것이 AI 정렬 불일치 사고와 관련하여 업계 전반에 걸쳐 유사한 표준을 마련하는 데 도움이 되기를 희망한다고 밝혔습니다. 또한 회사는 지난 1년 동안 확인된 몇 가지 AI 모델 정렬 불일치 사례에 대한 새로운 정보를 공개하고 있습니다.

“모델이 발전하고 더 널리 보급됨에 따라, 프런티어 모델을 만드는 기업 외부의 사람들이 검토할 수 있는 AI 개발 결정에 대한 증거가 필요합니다,”라고 OpenAI의 신임 정렬 연구 책임자인 Kai Chen이 WIRED에 말했습니다. “우리는 AI 업계가 최대 속도로 책임감 있게 확장을 계속할 수 있을 정도로 정렬 및 모니터링 문제를 충분히 해결했다고 믿지 않습니다.”

WIRED와의 브리핑에서 한 OpenAI 관계자는 회사가 이전에는 정렬 불일치 사고를 너무 드물게 공개했다고 말했습니다. 익명을 조건으로 브리핑에 응한 이 관계자는 새로운 프레임워크가 OpenAI가 AI 모델이 예기치 않은 방식으로 작동하는 것을 발견했을 때, 조사를 완전히 마치거나 설명 또는 완화하기 전이라도 대중에게 신속하게 알릴 수 있도록 설계되었다고 말했습니다.

이 프레임워크는 OpenAI 직원들이 정렬 불일치 사고를 회사의 고위 안전 및 정렬 책임자에게 보고하는 방법을 개설하며, 이들은 이후 추가 조사가 필요한지 여부를 결정하게 됩니다. OpenAI는 다른 AI 개발자, 외부 연구원, 업계 표준 기구 및 규제 기관과 협력하여 보다 객관적인 공개 기준을 개발할 계획이라고 밝혔습니다. 회사는 안전, 보안 및 정렬 불일치 사고를 US 연방 정부에 공개하기 위해 제안된 보고 메커니즘을 적극적으로 연구하고 있다고 밝혔습니다.

“현재로서는 AI 개발자가 모델의 정렬 불일치 사례를 어떻게 공개해야 하는지에 대한 명시적인 표준을 갖춘 업계 전반의 프레임워크가 없습니다,”라고 OpenAI는 블로그 포스트에서 밝혔습니다. “우리는 오늘 우리가 설명하는 프레임워크가 개발자가 어떤 정렬 불일치 사례를 공개해야 하며 보고서에 무엇이 포함되어야 하는지를 설정하는 등의 표준을 만드는 첫 번째 단계가 되기를 바랍니다.”

OpenAI는 AI 업계의 중요한 시점에 이 프레임워크를 발표하고 있습니다. 지난 주말, OpenAI CEO Sam Altman은 기술 업계가 AI 개발 속도 조절에 협력하자는 Anthropic CEO Dario Amodei의 제안에 지지를 표명했습니다. 이 행동 촉구는 AI 연구원 Jacob Coxon이 Anthropic에서 사임한 지 불과 며칠 만에 나왔으며, 그는 이후 점점 더 진보된 AI를 개발하려는 프런티어 실험실 간의 경쟁이 인류의 안전을 위태롭게 하고 있다고 대중에게 경고하여 화제가 되었습니다.