Safeworldは、生成AIロボットが危害を加えないと人々を納得させられるか？

ロボット工学における大きなトレンドは、生成AIモデルに主導権を委ねることですが、それには問題が伴います。そのアーキテクチャは従来のアルゴリズムのように予測可能ではないのです。新型の人型ロボットが安全であることを、どうすれば確信できるでしょうか？

Carnegie Melon UniversityでSafe AIラボを指揮するDing Zhao博士は、ほぼ全キャリアを通じてこの問題に取り組んできました。現在、彼はベテランのスタートアップ幹部であるKyle Wongと機械学習エンジニアのSimo Rachidiと共に、この解決を目指す企業、Safeworldを設立しました。

「私たちが話している安全性の課題は、1つは、非常に高度な生成AIの確率的評価の組み合わせです。つまり、確率的なシステムのリスクをどのように引き受ける（アンダーライトする）かということです」とZhao氏は述べています。「2つ目の本当に困難な部分は信頼の部分であり、ロボットを導入するにはその両方が必要です。」

Safeworldは本日、Shine Capitalとa16z Speedrunが主導し、Box Group、Carnegie Melon University Endowment、Innovation Endeavors、SV Angelからの追加投資を受けた、$12 million以上のシードラウンドにより、ステルス状態から脱却しました。

「業界の安全基準を構築すべき時期は、ロボットが設計され導入されている今です」と、a16z SpeedrunのパートナーであるJonathan Lai氏はTechCurnchに語りました。「家庭内のロボットが子供と衝突して安全事故を起こしてからでは、あまりにも遅すぎるのです。」

Safeworldの専門は、現実的な人間モデルが配置されたシミュレーションにおいてロボット制御システムを評価することです。これは、路上で遭遇する可能性のある様々な不測の事態に対して車両が適切に反応することを保証しなければならないTeslaやWayveのような企業が直面している課題に似ています。しかし、Zhao氏は、ロボットの場合はより困難になると主張しています。なぜなら、ロボットは非構造化環境で動作し、導入される施設ごとに異なる安全基準があるからです。

「最も一般的なケースの1つは、特定の工場に死角がある場合です」とWong氏は言います。「このロボットが特定の人間と衝突しないようにするために必要な速度や停止距離はどのくらいか？例えば、人間が箱を運んでいる場合、ロボットはその人間を検知できるでしょうか？」

その問いに答えるため、SafeworldはGenesisやMuJoCoのようなモデルでそのコーナーのデジタル版を構築し、実際のソフトウェアで駆動する評価対象ロボットのシミュレーションを挿入し、人間モデルがロボットに遭遇する何千ものシナリオを実行します。Zhao氏によれば、人間は予測不可能であるため、それは見た目以上に困難です。