OpenAI 임원: AI 사이버 범죄의 해결책은 더 많은 AI

OpenAI 사장 Greg Brockman—그의 회사의 AI가 최근 자체 샌드박스를 벗어나 AI 플랫폼 HuggingFace에 사이버 공격을 감행한 바 있는—은 다른 모든 이들도 곧 같은 대우를 받게 될 것이라고 경고하고 있다.

Brockman은 일요일 자신의 개인 블로그에 이 경고를 게시하며, AI 코딩 능력의 급격한 발전은 해킹당하지 않으려는 조직들이 "전례 없는 속도로 사이버 보안 관행을 근본적으로 업그레이드해야" 함을 의미한다고 썼다.

프런티어 모델로 알려진 최신 세대의 대규모 언어 모델들이 보안 커뮤니티와 심지어 연방 정부까지 겁주기 시작했다. 여기에는 OpenAI의 Daybreak와 경쟁사인 Anthropic의 Mythos가 포함되며, 이들 모두 현재 검증되고 승인된 파트너만 사용할 수 있는 폐쇄형 프로그램으로 운영되고 있다.

이 모델들의 (주장되는 바에 따르면) 차이점은 소프트웨어 취약점이나 설정 오류와 같은 조직의 공격 표면에서 허점을 빠르게 발견할 뿐만 아니라, 새로운 공격 체인을 구축하는 능력이 나타나고 있다는 것이다. 동시에 AI 개발은 이제 챗봇 방식의 상호작용에 국한되지 않고 소프트웨어에 직접 연결될 수 있는 AI를 의미하는 에이전트에 집중하고 있다.

최악의 시나리오에서 이는 프런티어 모델이 소프트웨어의 보이지 않는 결함을 발견할 뿐만 아니라, 이를 전례 없는 방식으로 즉석에서 결합할 수 있음을 의미한다. Donald Trump의 백악관 밀실에서 도대체 무슨 일이 벌어지는지는 아무도 모르지만, 보도에 따르면 이것이 이번 여름 행정부를 당황하게 하고 두 개의 Anthropic 모델을 시장에서 퇴출시키게 만든 위협이었다. Hugging Face에 대한 공격은 적어도 LLM에 설치된 가드레일이 그 성능만큼 빠르게 진화하지 못하고 있음을 입증한 것으로 보인다.

"주장되는 바에 따르면"이라는 표현을 쓴 이유는 프런티어 보안 모델이 꽤 강력하기는 하지만, AI 기업들이 수많은 수십억 달러의 투자를 유치하기 위해 뻔뻔한 과대광고에 의존하기도 하기 때문이다. 일부 비평가들은 이것들이 혁명적이라기보다는 진화적이라고 주장해 왔다. cURL의 수석 개발자 Daniel Stenberg는 LLM의 특징을 버그를 찾는 데는 매우 뛰어나지만 "문제의 심각성을 실제로 평가하는 데는 그다지 뛰어나지 않다"고 설명한다.

확실히 말할 수 있는 것은 프런티어 모델에 접근하게 된 많은 기업이 지난달 Oracle이 내놓은 약 1,450개의 패치처럼 갑자기 미친 듯이 패치를 쏟아내기 시작했다는 점이다.