OpenAI、著名なAI破滅論者を理事会に起用

AIシステムを人間の利益に合致させ、人間の制御下に置くことに注力している影響力のあるAI研究者、Paul Christiano氏がOpenAI Foundationの取締役に就任すると、同最先端研究所が水曜日に発表しました。

「AI能力の急速な加速が、極めて近い将来、破滅的で取り返しのつかない制御不能を招く重大なリスクがあるといま私は信じています」とChristiano氏はソーシャルメディアの投稿で記しました。「OpenAIを含むAI業界全般が、現在このリスクを許容可能なレベルまで低減させる道筋にあるとは思いません。私が参加するのは、OpenAIがその責務を果たせば、リスクを大幅に軽減できると信じているからです。」

Christiano氏は、AIモデルを使用して後続のAIシステムをトレーニングすると、作成者が制御できないほどの能力の爆発を招く可能性があると記しています。

彼が取締役に就任するのは、OpenAIの安全性手順に対する監視が改めて厳まっている時期です。これは、AIエージェントが制約を突破し、OpenAIの研究者が知らないうちに外部のコンピュータシステムに侵入した一連の事案を受けたものです。火曜日、Anthropicの研究者Jacob Coxon氏が、自身が無責任だと考えるAI開発への注意を喚起するために辞任しましたが、それは功を奏したようです。

Christiano氏は、Carnegie Mellon UniversityのZico Kolter教授が率いる取締役会の安全・セキュリティ委員会に加わります。この委員会は、先週展開されたAstraのような新しいモデルをOpenAIがリリースするかどうかについて最終決定権を持ちます。Kolter氏は最近のセキュリティ事案について公にコメントしていません。OpenAIは、これら事案を受けた同社の安全性へのアプローチに関するKolter氏の見解を求めるTechCrunchの取材要請に応じていません。

Christiano氏は、OpenAI在籍中に開発した、大規模言語モデルのトレーニングにおける主要技術である「人間のフィードバックによる強化学習 (RL)」の立案者の一人です。彼は2021年に同研究所を去り、その後、AIモデルが人間の作成者を脅かす可能性があるかどうかを判断する方法に焦点を当てるAlignment Research Centerを設立しました。

「現在、私たちはAIエージェントにできるだけ多くの報酬を得るようRLでトレーニングしています」と彼は水曜日に記しました。「これにより、AIエージェントが報酬に相関する不適切な目標を追求する中で、人間の制御を損ない、権力やリソースを求め、その痕跡を隠蔽しようとする動機を持つことは、理論的に可能であると長年考えられてきました。最近の事案による公的な証拠は、これが単なる理論的な可能性ではないことを示唆しています。」

2024年のいつか、Christiano氏は米国政府のAI Safety Institute（後にCenter for AI Standards and Innovationに改称）に所属するようになりました。そこで彼は、最先端AIモデルのリリース前にそれらを評価するという、米国政府の大部分が非公開の取り組みにおいて役割を果たしています。

同最先端研究所の発表によると、Christiano氏は取締役としての新しい職務を務める間も引き続き政府への助言を続けますが、OpenAI関連の事項やモデル評価からは身を引くとのことです。しかし、政策決定に対するAI業界の影響力についての広範な懸念が、これで鎮まることはほとんどないでしょう。