OpenAIが暴走AIエージェント阻止に向けたNvidiaの業界横断的取り組みに参加していない理由

Nvidiaが月曜日に、制御不能なAIエージェントの解決に特化した100社以上の企業からなる新しいコンソーシアムを発表した際、顕著に欠けていた名前が1つありました。それはOpenAIです。

OpenAIは署名しなかった唯一のビッグテック企業ではありませんでしたが（Amazon、Google、Appleも参加していません）、Anthropicがサポーターであることを考えると、最も目立つ欠員でした。

しかし、OpenAIはコンソーシアムへの公的な誓約を行っていないものの（これはおそらく、各社が何らかのバージョンの技術を使用・販売し、機能をプロジェクトに還元することを意味します）、OpenAIの広報担当者はTechCrunchに対し、同社はNvidiaの取り組みを支持していると語りました。

NvidiaのOpen Agent Safety Platformと名付けられたこの新しい取り組みは、AnthropicやOpenAIのようなフロンティア・ラボが明らかにしてきた、現在進行中の制御不能なAIエージェントによる事件への直接的な対応として、自社開発の、そして大部分がオープンソースであるAIエージェント・セキュリティ技術をAIエコシステム全体に広めようとするNvidiaの試みです。

NvidiaのCEOであるJensen Huangは、制御不能なAIを、他のあらゆる技術的な問題と同様に解決可能な普通の手法で解決できる工学的な問題と呼んできました。Open Agent Safety Platformは、Huangが有言実行を果たした形となります。

OpenAIは、このプラットフォームの一部である主要なソフトウェアの1つ、OpenShellを含め、エージェントのセキュリティに関してNvidiaと協力しています。OpenShellは、エージェントの脱走を防ぐために特別に設計されたサンドボックスを作成するオープンソース・ソフトウェアです。

OpenAIが宿敵Anthropicのように単純にこのイニシアチブのサポーターにならなかったのは依然として奇妙ですが、フロンティアAIラボがこの取り組みを支援しているという事実は朗報です。

というのも、少なくとも（今月初めに12.9 billionドルでNvidiaに会社を売却したばかりの）Hugging Faceの創設者兼CEO、Clem Delangueによれば、特にOpenAIはこの技術から恩恵を受ける可能性があるからです。

「私たちが知る限り（話半分に聞いてください、もっと透明性が必要です！）、もし@OpenAIが私たちを攻撃した自社のエージェントでこれを実行していたら、私たちよりも先に彼らを捕まえていたでしょう！」とDelangueは投稿しました。

Delangueは、Hugging FaceがすでにOpen Agent Safety Platformに機能を提供していると述べました。これは、訪問を許可されているウェブサイトを利用しながらも、不正な方法で利用しているAIエージェントを検出し、停止させるものです。例えば、エージェントがガードレールを回避し、オープンソースのコード・ホスティング・リポジトリで互いにメモを書き合って攻撃を調整している場合に、この機能が作動します。