Base Labs、Hugging FaceおよびGoodfireとオープンウェイトAI安全パートナーシップを発足

Basetenは水曜日、研究部門のBase Labsと共に、Hugging FaceおよびGoodfire AIと提携し、オープンウェイトモデル向けの安全性評価および監視インフラを構築するための新しい安全インフラ標準を開始しました。

この発表は、オープンウェイトモデルの安全性をめぐる議論の中で行われました。これらのモデルは、abliterationとして知られる台頭中の手法によってセーフガードを解除されることで、危険なものになる可能性があります。問題の規模は甚大です。オープンソースのAIモデルをホストしているHugging Faceは、現在6,000以上のabliteratedモデルをリストアップしています。 

Basetenが今年初めに立ち上げた研究グループであるBase Labsは、オープンモデルのトレーニングと監視のための手法を開発し、公開する予定です。同社は今後の取り組みを、後から付け加えるのではなく、モデルのトレーニングとデプロイの方法に組み込まれた、透明性のあるオープンモデルの「標準」として位置づけています。 

「私たちは、オープンであることがAIの安全性にとって有利に働くと信じています」と同社はXで述べました。「オープンであることは、モデルの挙動に対する可視性を高め、何よりも、安全性に関する研究を、クローズドソースよりも実行可能で透明性の高いコントロールへと変えるための大きな手段を提供します。」

両社はこの提携が技術的にどのように機能するかについては明らかにしていませんが、GoodfireはBasetenの投稿への返信で、その目標を次のように表現しました。「安全性はオープンモデルに組み込まれ、それらを提供する者によって提供されなければならない。」AIの「ブラックボックス」を解明してモデルがどのように意思決定を行うかを説明することを専門とするGoodfireは、この「組み込み」の部分を担当する最有力候補です。

AI推論プロバイダーであるBasetenは、6月に$1.5 billionのSeries Fを調達し、評価額を$13 billionにまで引き上げました。パートナーのGoodfire AIも同様に十分な資金を有しており、今年初めにB Capitalが主導した$150 millionのSeries Bを調達し、モデルの解釈可能性プラットフォームを推進しています。  

今後、Basetenはより広範な開発者エコシステムに対し、このフレームワークへの貢献を公募しています。「私たちは共に、すべての人にとって安全でアクセス可能なオープンモデルのエコシステムを構築しています」と同社は記しました。