Comment utiliser les agents d'IA pour préparer des scènes 3D pour la simulation | NVIDIA Technical Blog

Les workflows d’IA agentielle peuvent être utilisés pour préparer et valider des jumeaux numériques pour les systèmes d’IA physique. Les agents peuvent inspecter des scènes 3D, créer des données pertinentes pour la simulation en OpenUSD, ajouter des propriétés physiques, générer des vues de vérification et valider le résultat par rapport aux exigences prêtes pour la simulation (SimReady). Ce workflow suit ce processus, d'une scène dans Blender à une remise OpenUSD prête pour la simulation pour NVIDIA Isaac Sim ou NVIDIA Isaac Lab.

En pratique, cependant, si vous construisez des agents pour la robotique, le workflow peut souvent s'enrayer. Il est tentant d'attribuer la difficulté à la politique, au modèle ou à la boucle d'apprentissage, mais le goulot d'étranglement survient souvent plus tôt : le robot ne dispose pas d'un monde prêt pour la simulation dans lequel s'entraîner. Le travail supplémentaire nécessaire pour amener une scène 3D à cet état est laborieux, chronophage et fréquemment hors de portée de l'ingénieur en simulation robotique.

Cet article détaille un workflow d'agent pour préparer une scène Blender pour la simulation robotique en utilisant les NVIDIA Omniverse Libraries. Codex, propulsé par OpenAI GPT-6 Astra, coordonne la tâche globale, interprète les résultats et guide l'itération. Des sous-agents spécialisés, construits avec le harnais d'agent Hermes et déployés via NVIDIA NemoClaw, utilisent les bibliothèques Omniverse pour inspecter la scène, créer des métadonnées de simulation, configurer la physique et restituer des vues visuelles de vérification.