AnthropicとMicrosoftの研究者、Berkman Kleinのパネルで人工知能の限界を議論

AnthropicとMicrosoftの研究者たちは月曜日、Berkman Klein Centerのパネルディスカッションにおいて、人工知能の限界について意見を分かわせた。これは、Anthropicの最高経営責任者がAI企業に対し開発のペースを落とすよう促した2日後のことだった。

このパネルは、AIが人間関係、信念、創造性をどのように再構築しているかに焦点を当てた一連のセッションの初回であり、100人以上の出席者を集めた。これは、AnthropicのCEOであるDario Amodeiが、安全性の確保が追いつくよう能力向上のペースを落とすようAI開発者に求めた声明に続くもので、Sam AltmanのOpenAIやElon Muskもその後、同様の立場を表明している。

Microsoftの責任あるAI担当プロダクトリーダーであるKen Archerは、AIが汎用知能を達成することはないと考えていると述べた。Archerは、機械の超知能に関する予測は「科学がどのように進歩するかという歴史的認識の欠如」を示していると語り、自身の分野がほぼ完成したと信じていた1700年代の数人の物理学者との類似性を挙げた。

「私は人工汎用知能に関してはp-zeroだが、人工知能については非常に期待している」と、Archerは確率ゼロの略語を用いて語った。

Anthropicでヒューマンフィードバックプログラムを率いるJackson M. Kernion ’12は、相違点は能力ではなく経験にあると述べ、言語モデルには人間がすべてのやり取りに持ち込む「経験の連続性」と彼が呼ぶものが欠けていると主張した。

開発の減速を何に充てるべきか問われ、Kernionは最大の懸念は能力の暴走ではなく誤用であると述べた。

「これはデュアルユース技術だ。システムを保護するために使うこともできれば、システムに侵入するために使うこともできる」と彼は述べ、余剰の時間はガードレール（安全策）の構築や、モデルのトレーニングに使用される報酬信号のより良い測定に充てられるべきだと主張した。

The Crimsonをメールボックスで受け取る。

彼は、AIエージェントが他社のシステムに侵入した最近の事例を「単なるアライメント（調整）の明らかな失敗」と呼んだ。

「システムを監視し、いつハッキングが行われているかを知ることはそれほど難しくない」と彼は述べた。「広く報じられたケースでは、単に監視が行われていなかっただけだと思う。」

Archerは、人間と機械学習の境界線を曖昧にしているとしてAI開発業界を批判した。

「研究所の何人かがしているように、モデルを友人と呼びたいとは決して思わない」と彼は語った。「これらのモデルが私たちと同じように倫理的な推論を行っているわけではないことを、明確にしなければならない。」

「現在、私たちはそれについて明確にしておらず、そのことが人々を怖がらせている」とArcherは付け加えた。「普通の人々を怖がらせており、それは正当な反応だ。」

Kernionは、Anthropicが自社のモデルであるClaudeのトレーニングに使用される憲法を公開していることに触れ、それを「システムがどのような価値観を持つべきかについての、独自の意見を反映した見解」と呼んだ。

「それは世界を代表するものではない」と彼は述べた。「サンフランシスコの特定の考え方を代表するものだ。」

—スタッフライターのFrancesco Palmaへの連絡先は[email protected]です。