AIエージェントを活用してシミュレーション用の3Dシーンを準備する方法 | NVIDIA Technical Blog

エージェンティック AI ワークフローを使用して、フィジカル AI システム向けのデジタルツインを準備および検証できます。エージェントは、3D シーンの検査、OpenUSD でのシミュレーション関連データの作成、物理プロパティの追加、プリフライト ビューのレンダリングを行い、その結果を SimReady (シミュレーション対応) 要件に照らして検証できます。このワークフローは、Blender のシーンから NVIDIA Isaac Sim または NVIDIA Isaac Lab 用の SimReady な OpenUSD の引き渡しまでのプロセスに従います。

しかし、実際には、ロボティクス向けのエージェントを構築している場合、ワークフローが滞ることがよくあります。難しい部分はポリシー、モデル、またはトレーニング ループのせいだと考えがちですが、ボトルネックは多くの場合もっと早い段階で発生します。つまり、ロボットがトレーニングするためのシミュレーション準備の整った世界がないことです。3D シーンをその状態にするために必要な追加作業は、骨が折れ、時間がかかり、ロボティクス シミュレーション エンジニアの業務範囲外であることがよくあります。

この記事では、NVIDIA Omniverse Libraries を使用して、ロボティクス シミュレーション用に Blender シーンを準備するためのエージェント ワークフローについて説明します。OpenAI GPT-6 Astra を搭載した Codex が、タスク全体の調整、結果の解釈、および反復のガイドを行います。Hermes エージェント ハーネスで構築され、NVIDIA NemoClaw を介してデプロイされた特殊なサブエージェントは、Omniverse Libraries を使用してシーンを検査し、シミュレーション メタデータを作成し、物理を構成し、視覚的なプリフライト ビューをレンダリングします。

これらのコンポーネントを組み合わせることで、推論、ツール実行、および検証が、SimReady な OpenUSD の世界を提供するための再現可能なプロセスに統合されます。

なぜシミュレーション用の 3D シーンの準備は難しいのでしょうか？

シーンは存在します。3D アーティストが Blender で作成したアセットもあります。しかし、それはシミュレーションに使用できるでしょうか？ 以下の準備作業はすべて完了しているでしょうか？

• オブジェクトにラベルが付いているか？
• 衝突メッシュは正しいか？
• マテリアルはシミュレーションにとって意味があるか？
• センサーは配置され、構成されているか？
• シーンは USD に正常にエクスポートされるか？
• ロボットはターゲット オブジェクトを認識できるか？
• Isaac Sim や Isaac Lab でのデバッグに時間を費やす前に、シーンは検証に合格するか？