Anthropic, 자가 구축 AI인 RSI 역량에 근접했다고 경고

지난 월요일 Anthropic이 개정된 S-1A에서 공개한 업데이트된 재무 상태(수익은 급증하고 있지만 비용도 급증하고 있음)에 많은 관심이 쏠렸지만, 이 AI 연구소는 세부 조항에 또 다른 작은 폭탄을 던졌습니다.

제출 서류는 회사가 재귀적 자기 개선(RSI)이 가능한 모델을 만들기 직전에 있음을 경고하는 것으로 보입니다.

RSI는 AI가 스스로를 훈련하는 능력이 너무 뛰어나져서 AI 능력의 비약적인 가속화를 촉발하는 시점입니다. AI 파멸론자들에게 RSI는 되돌릴 수 없는 대재앙을 의미하며, AI가 인간의 통제를 벗어날 만큼 강력한 존재로 스스로 성장하여 목표를 달성하는 동안 발생하는 피해에 무관심해질 수 있는 단계를 뜻합니다.

AI 낙관론자들에게 RSI, 또는 AI가 스스로를 안정적으로 사용하여 개선하는 형태는 기술의 약속을 상징하며, 상상할 수 없는 생산성, 과학적 발견 등을 위한 도구가 되는 지점을 의미합니다.

Anthropic은 RSI가 약속이자 위험이라고 믿는 것 같습니다. 회사는 S-1에서 R&D에 AI를 사용한다고 밝혔지만 다음과 같이 경고했습니다: "더 유능한 AI를 구축하는 데 AI를 사용하는 것은 특히 발전 속도가 급격히 빨라질 경우 상당한 안전 위험을 초래할 수 있습니다. 이는 이른바 '재귀적 자기 개선'에 접근함에 따라 위험을 모니터링하고 완화하기 위한 계획을 담은 당사의 책임 있는 확장 정책(Responsible Scaling Policy)이 다루는 영역 중 하나입니다."

올해 초 RSI라는 용어가 대중화되었을 때, 많은 이들은 이것이 유행어이거나 기껏해야 달성, 정의 또는 증명하기 너무 어려운 목표라고 믿었습니다.

하지만 월요일, Anthropic은 위험 요인(Risk Factors) 섹션에 새로운 문구를 추가하여 1) 당시에는 인식하지 못했던 능력의 비약적 발전을 이룬 새로운 모델을 개발하는 데 이미 AI를 사용했으며 2) 곧 RSI에 대한 자체 내부 정의를 충족할 수 있다고 밝혔습니다(아래 굵은 글씨 강조는 당사 추가):

또한, 자체 연구 개발을 가속화하기 위해 AI 시스템 사용을 늘림에 따라 모델의 능력이 상응하는 안전, 정렬 및 보안 조치를 개발, 검증 및 구현하는 당사의 능력보다 더 빠르게 발전할 수 있습니다. 그 결과, 당사는 과거에 개발 속도의 상당한 가속화가 발생한 후에야 이를 인지했으며, 향후에도 그럴 수 있습니다.

예를 들어, 현재 모델이 아닌 미래 모델에 대한 내부 추정치 및 기대치에 따르면 당사의 책임 있는 확장 정책에서 정의하는 "AI에 기인한 비약적으로 가속화된 진전"의 정의를 곧 충족할 수 있음을 나타냅니다. 당사는 현재 모델 중 이 임계값을 초과하는 모델을 지정하지 않았으며, 기초 데이터를 계속 평가하고 있습니다.