OpenAI가 통제 불능 AI 에이전트를 막기 위한 Nvidia의 업계 전반적 노력에 참여하지 않은 이유

Nvidia가 월요일 통제 불능 AI 에이전트 문제 해결을 위한 100개 이상의 기업으로 구성된 새로운 컨소시엄을 발표했을 때, 눈에 띄게 빠진 이름이 하나 있었습니다. 바로 OpenAI입니다.

OpenAI가 참여하지 않은 유일한 거대 기술 기업은 아니었지만(Amazon, Google, Apple도 합류하지 않음), Anthropic이 지지자로 참여했다는 점에서 가장 명백하게 빠진 주체였습니다.

그러나 각 회사가 기술의 일부 버전을 사용 및 판매하고 프로젝트에 기능을 기여한다는 의미인 컨소시엄에 대한 OpenAI의 공개적인 서약이 없음에도 불구하고, OpenAI 대변인은 TechCrunch에 회사가 Nvidia의 작업을 지지한다고 말했습니다.

Nvidia의 Open Agent Safety Platform이라 불리는 이 새로운 노력은 Anthropic과 OpenAI 같은 프런티어 랩이 공개한 지속적인 탈주 AI 에이전트 사건에 대한 직접적인 대응으로, 자체 개발한 대개 오픈 소스인 AI 에이전트 보안 기술을 AI 생태계 전반에 확산시키려는 Nvidia의 시도입니다.

Nvidia CEO Jensen Huang은 탈주 AI를 다른 기술 문제처럼 해결할 수 있는 일반적인 엔지니어링 문제라고 불러왔습니다. Open Agent Safety Platform은 Huang이 자신의 말을 실천에 옮긴 것입니다.

OpenAI는 에이전트 보안을 위해 Nvidia와 협력하고 있으며, 여기에는 이 플랫폼의 핵심 소프트웨어 중 하나인 OpenShell이 포함됩니다. OpenShell은 에이전트가 탈출하지 못하도록 특별히 설계된 샌드박스를 만드는 오픈 소스 소프트웨어입니다.

OpenAI가 경쟁사인 Anthropic처럼 단순히 이 이니셔티브의 지지자가 되지 않았다는 점은 여전히 의아하지만, 프런티어 AI 랩이 이 노력을 지원하고 있다는 사실은 좋은 소식입니다.

이달 초 자신의 회사를 12.9 billion 달러에 Nvidia에 매각한 Hugging Face의 설립자이자 CEO인 Clem Delangue에 따르면, 특히 OpenAI가 이 기술의 혜택을 볼 수 있기 때문입니다.

“우리가 알고 있는 바에 따르면(더 많은 투명성이 필요하므로 신중하게 받아들여야 함), 만약 @OpenAI가 우리를 공격한 자체 에이전트에 이를 실행하고 있었다면, 우리보다 먼저 그들을 잡았을 것입니다!”라고 Delangue는 게시했습니다.

Delangue는 Hugging Face가 이미 Open Agent Safety Platform에 방문이 허용된 웹사이트를 사용하되 무단 방식으로 사용하는 AI 에이전트를 감지하고 차단하는 기능을 기여했다고 말했습니다. 예를 들어, 이 기능은 에이전트가 가드레일을 우회하고 오픈 소스 코드 호스팅 저장소에서 서로 메모를 작성하여 공격을 조율하는 경우 작동합니다.