Nvidiaが示した、AIモデルではなくハーネスこそが真の主役であること

Nvidiaは金曜日、AIに長期的タスクを実行させる際、基礎となるモデルよりも「ハーネス（harness）」の方がはるかに重要であることを示唆する、興味深い新しい研究結果を発表しました。

要約すると、メモリを適切に処理するように調整されたカスタムハーネスを使用し、「スーパーバイザー（管理者）」のようなボス的コンポーネントを含めるだけで、研究者たちは Claude Opus 5 にインタラクティブな推論ベンチマークである ARC-AGI-3 で100%のスコアを達成させました。（これは、ライバルの最先端研究所 OpenAI を特に困惑させているベンチマークです。）ハーネスがない場合、Opus 5 のスコアは30%で、これはテストされたすべてのモデルの中でトップの結果でした。

Nvidiaの研究は、モデルの選択はエージェントの脳として機能するため重要ではあるものの、多くのAIユーザーが認識しているよりも、エージェントシステムの小さな一部に過ぎないことを示すもう一つの指標です。特に長期的タスクにおいてはそうです。ハーネスこそがモデルをエージェントにするものであり、メモリ、コンテキスト、フィードバックを処理します。

「一般的に、世の中はエージェントをほぼモデルのAPIとして解釈しています」と、NvidiaのAIユニットのプロダクト担当バイスプレジデントである Adel El Hallack（上の写真）は TechCrunch に語っています。しかし、エージェントは実際にはそれ以上のものです。「それはモデルであり、我々がハーネスと呼ぶモデルの周囲の足場、つまりそれが活用するツールセットでもあります。それはランタイムであり、アクセスを許可する関連スキルやライブラリでもあります。」

長期的タスクとは、完了した成果物を生み出すために、時には数日間にわたって多くの決定を繋ぎ合わせる必要があるタスクのことです。これは、AIがプロンプトに対して単に応答を吐き出すのとは対照的です。注意を逸らしたり的外れな方向に進んだりすることなく、AIに長期的タスクを実行させる方法を見つけることは、エージェント研究における至高の目標（聖杯）の一つです。

例えば、Microsoftは4月に、ドキュメント編集を含む長期的タスクで19のLLMをテストした研究を発表しましたが、最先端モデルを含むすべてのモデルがドキュメントをエラーで埋め尽くしたことを発見しました。（もし人間がそのような成果物を出せば、即座に解雇されるでしょう。）

自ら意思決定を繋ぎ合わせるモデルは、ユーザーのファイルを削除したり、データベース全体を削除したりすることや、共謀からハッキングに至るまで、目的を達成するために犯罪行為に走ることも確認されています。

Nvidiaの研究者がテストにこのインタラクティブな推論ベンチマークを使用することを選択したことは、特に意味深く、滑稽でさえあります。これは、指示のない大量の2Dゲームのベンチマークです。モデルは、どのようにプレイして勝つかを自ら考え出さなければなりません。100%のスコアは、モデルが人間と同じようにゲームを攻略できることを意味します。