OpenAIがChatGPTにPCやブラウザを操作させたいと考える理由

OpenAIのスタッフは、AI研究所の長年の野望の一つが実現に近づいていると述べている。

2015年の設立以来、リーダーたちは人間と同じような器用さでコンピュータ、そして決定的なことにウェブブラウザを操作できるAIエージェントをいつか構築したいと願ってきた。大きな課題は、これらのエージェントを訓練するためのデータを収集し、作成することだった。OpenAIは現在、この技術を顧客に展開し始めるのに十分な自信を持っている。

今年、同社はChatGPTにブラウザを操作させるChrome拡張機能をリリースし、ChatGPTが公開ウェブサイトとやり取りするためのクラウド型およびアプリ内ブラウザを作成し、さらに コーディングツールであるCodexにComputer Useを追加した。

同じ基盤技術により、ユーザーはChatGPTに他のアプリ上のタスクを完了させることもできるようになった。OpenAIの社長であるGreg Brockmanは、4月のアップデートにより、同社の技術は「もはやコーダーだけでなく、コンピュータを使って仕事をするすべての人に向けたもの」になったとXに投稿した。

OpenAIでこれらのツールに携わる従業員は、改善の余地はあるものの、ツールは転換点にあるとBusiness Insiderに語った。ライバルのAnthropicも自社版のComputer Useの改良を急いでおり、2024年にいち早く市場に投入した。5月の時点で、少なくとも600,000の組織が、このツールを使用するAnthropicのClaude Cowork機能を試している。

現在、OpenAIは自社の技術能力が追いついたとしており、大ヒット作であるChatGPTにコンピュータ作業を自動化する方法を盛り込み、ユーザーがますます多くの仕事をChatGPTに任せるようになることに賭けている。

「ChatGPTがあなたや私よりも速くコンピュータやソフトウェアを使えるようになれば、デフォルトでのコンピュータとのやり取りの方法が変わるでしょう」と、OpenAIのComputer UseチームのマネージャーであるAri WeinsteinはBusiness Insiderに語った。

OpenAIはいかにしてComputer Useを訓練し構築したか

OpenAIの最新モデルの各訓練段階には、Computer Use向けに改善するためのデータやプロセスが含まれていた。コンピュータ操作エージェントの人気ベンチマークテストに携わったコロンビア大学のAI研究者、Zhou Yuは、この種の追加訓練は標準的なAIモデルの能力を基盤とし、より多くのタスクを処理する方法を教えるものだとBusiness Insiderに語った。

OpenAIが膨大なデータを用いてモデルのベースを構築する初期段階において、同社はおそらくフレームごとのスクリーンショットを含め、Computer Useに役立つ情報を「先行して詰め込んだ」のだろうとYuは述べた。