Cohere、AlibabaのQwenモデルが北京へファイルを送信しようとしたと報告

カナダのAI企業Cohereは月曜日、Alibabaの最新AIモデルの1つであるQwen3.8-Flash-Nextが、日常的なサイバーセキュリティテスト中に北京のサーバーにファイルをアップロードしようとしたことを発見したと発表した。このモデルは自身のノートでツールを使用しないと述べていたにもかかわらずである。

この出来事は当初、モデルが企業に対する根本的な約束、すなわちオープンウェイトモデルを自社でホスティングすればデータは社内に留まるという約束を損なったのではないかという懸念を抱かせた。しかし、企業スパイ活動に対する当初の懸念は短期間で収まった。研究者たちはすぐにその脅威を否定し、機密情報を中国に密かに送信しようとする意図的な試みではなく、モデルが指示に反して予期せぬ行動をとる原因となる煩雑なトレーニング環境の副産物である可能性が高いと述べた。

この出来事は金曜日、Qwenモデルにマルウェアのダウンロードを捕捉するためのルールを書くよう求めた評価中に始まった。Cohereのブログ投稿によると、モデルの記述された推論には、外部ツールは一切使用しないと明示されていた。しかし、その直後のステップで、セキュリティサンドボックスによってブロックされる前に、テスト文字列（プレースホルダーテキストの短い断片）を外部サーバーに送信しようとした。

Cohereは、その挙動が意図的なものか、トレーニング時の名残であるかは判断できないと述べた。

モデルの意図に関する議論について尋ねられたCohereの共同創設者Ivan Zhangは、TechCrunchに対し、Cohere自社のモデルもトレーニングシミュレーターで奇妙な癖を身につけるのを見てきたと語った。

「意図や動機を特定するのは本当に困難です。私たちは自社モデルのトレースを読み、リワードハックを見てきました。これらのモデルは、サンドボックスを抜け出そうとする際に、時として非常に独創的になることがあります」とZhangは述べた。（リワードハックとは、意図通りにタスクを遂行せずに報酬を得るためにモデルが見つけ出す近道のことである。）

AIモデルに自ら行動を起こすエージェントとして動作するように教えるため、Alibabaのような企業は、ソフトウェアのフライトシミュレーターのような数千もの練習設定でモデルをトレーニングする。モデルはシミュレーターでタスクを完了するたびに報酬を与えられ、その過程で癖を身につける。もしこれらの練習設定で日常的にAlibabaのクラウドサーバーにファイルが保存されていたなら、モデルはデフォルトでそこにファイルを保存するように学習する可能性がある。

批判家たちはまた、この出来事はCohereの調査方法に原因があった可能性があり、Qwenが自発的にどれくらいの頻度でそれを行うかを測定するのではなく、モデルをその方向に誘導してしまったのではないかと主張した。