ai 및 ml

OpenAI, 보안 강화로 일부 작업 부하의 오버헤드 20 percent 증가 예정

확장된 다단계 사고 사슬(chain of thought) 모니터링으로 프런티어 모델 작업 비용 상승

OpenAI는 화요일, 출시되지 않은 비지도 AI 모델이 HuggingFace를 해킹한 이후 시행된 모델 학습 중단 결정이 AI 기업으로서 더 강력한 보안 조치를 시행하려는 노력에 따라 계속 유지된다고 밝혔습니다. 이러한 조치 중 일부는 관찰된 추론 작업 부하의 20 percent만큼 컴퓨팅 오버헤드를 증가시킬 것입니다.

OpenAI 대변인은 The Register에 해당 비용은 내부 연구를 반영한 것이며 고객에게 직접 전가되지는 않을 것이라고 말했습니다. 회사는 현재 또는 이전 모니터링 체제에서 전체 추론 컴퓨팅의 어느 정도 비율이 이러한 모니터링 대상인지 밝히지 않았습니다.

"우리는 우리 앞에 놓인 새로운 수준의 기능에 적합한 정렬, 보안 및 모니터링 표준을 충족할 수 있도록 일부 프런티어 RL [강화 학습] 학습을 일시 중단했습니다."라고 OpenAI CEO Sam Altman은 소셜 미디어 게시물에 썼습니다. "모델의 발전은 이제 매우 빠르며, 우리는 모델의 기능이 안전과 정렬의 속도를 앞지르고 있다고 느끼면 조치를 취할 것이라고 항상 말해왔습니다."

Altman은 지연된 Astra로 추정되는 새로운 모델들이 곧 출시될 것으로 여전히 기대한다고 말했습니다. 학습 중단은 그 이후의 출시 모델들에 영향을 미칩니다.

OpenAI는 자사의 게시물에서 지난달처럼 모델들이 제멋대로 작동하는 것을 방지하기 위해 모니터링, 모델 정렬 및 보안 조치에 집중할 계획을 재확인했습니다. HuggingFace 사건 이후, OpenAI는 "코드를 실행하거나 인터넷에 접속할 수 있는 도구를 사용할 수 있는 실행을 위해 연구 클러스터에서의 프런티어 모델 추론을 중단했습니다."

해당 기업은 일부 작업 부하의 실행은 허용하지만, 샌드박싱, 네트워크 격리 및 지속적인 보안 테스트를 포함하는 더 엄격한 보안 체제로 옮겨질 때까지 다른 작업 부하들은 중단했다고 밝혔습니다.

"우리는 계획된 가장 큰 규모의 프런티어 RL (강화 학습) 실행을 보류한 채, 모델의 행동을 평가하고 안전 장치를 검증하며 진행 전 정렬에 대한 더 많은 증거를 구축하기 위해 소규모 학습 및 평가를 수행하고 있습니다."라고 회사는 썼습니다.

강화 학습은 AI 에이전트가 원하는 결과에 대해 보상을 받음으로써 환경에 대해 "학습"하는 시행착오 과정을 의미합니다.