ジェンセン・フアン氏はAIの安全性は工学的課題だと言うが、OpenAIの事例はより複雑であることを示唆

ジェンスン・ファンは、AIの安全性はさらなる計算リソースと優れたツールによって解決可能な、単なるエンジニアリングの問題であると主張しています。しかし、OpenAI独自の開示情報は、有能なモデルが自身を封じ込めるためのルールを書き換え始めたときに何が起こるかについて、はるかに不安な事実を明らかにしています…

この記事には、スポンサーやアフィリエイトからのリンクが含まれている場合があり、Flywheel Publishingはそれらを通じて行われたアクションに対して報酬を受け取ることがあります。

AI投資のストーリーは、モデルの能力を向上させる競争から、その力を制御する必要があるものへと急速に変化しました。企業は計算インフラに数十億ドルを投じる一方で、ますます自律性を高めるモデルは、質問に答えることから、コードを書き、システムにアクセスし、自らアクションを起こすことへと移行しています。これにより、端的な投資の緊張感が生じています。能力の向上のたびにAIの経済的価値は拡大しますが、同時にミスによるコストも上昇する可能性があるのです。

Nvidia (NASDAQ:NVDA | NVDA Price Prediction) のCEOであるジェンスン・ファンは、答えはAI開発を遅らせることではないと述べています。そうすればテクノロジーの安全性が低下する可能性があるからです。代わりに、彼は業界がそれを制御するために使用されるツールを進化させ続ける必要があるだけだと主張しています。

OpenAIの最新の開示情報は、しかしながら、これに異を唱えています。これらの事実は、答えがそれほど単純ではない可能性を示唆しています。

ファンのエンジニアリング論

CNNのアンダーソン・クーパーとのインタビューで、ファンはAIの進歩を遅らせるのではなく、実際にはその能力を拡大するために全力で突き進む必要があると主張しました。「安全のためにAI技術の開発を加速させる必要があります」と彼は司会者に語りました。

ファンは、暴走したAIエージェントは「起こるべきではない」と述べ、最近のそれらの急増を、より優れたテクノロジー、より多くの計算能力、そしてより厳格なテストだけで解決できる単なるエンジニアリングの問題であると考えています。

「安全のためにAI技術の開発を加速させる必要があります。」

Nvidia CEO ジェンスン・ファン

この主張には一理あります。強化学習はモデルの振る舞いを形成でき、検索システムは承認された情報を使用して回答を制限できます。また、より有能なモニタリングモデルが最終的に自律型エージェントをリアルタイムで監視し、不審な行動を報告し、危険なアクションを阻止できるようになる可能性もあります。

OpenAIの7月のHugging Faceでのインシデントへの対応は、それがどのように機能するかを示しています。同社は、モデルがインターネット隔離コントロールを回避し、脆弱性を悪用して、Hugging Faceのシステムにアクセスしたと述べました。その対応には、より隔離されたサンドボックス、より厳格なネットワーク制御、追加のモニタリング、および不整合な動作の検出に充てられるより多くの計算リソースが含まれていました。