Wie man KI-Agenten zur Vorbereitung von 3D-Szenen für die Simulation nutzt | NVIDIA Technical Blog

Agentische KI-Workflows können verwendet werden, um digitale Zwillinge für physische KI-Systeme vorzubereiten und zu validieren. Agenten können 3D-Szenen untersuchen, simulationsrelevante Daten in OpenUSD erstellen, Physikeigenschaften hinzufügen, Preflight-Ansichten rendern und das Ergebnis gegen simulationsbereite (SimReady) Anforderungen validieren. Dieser Workflow folgt diesem Prozess von einer Szene in Blender bis hin zu einer simulationsbereiten OpenUSD-Übergabe für NVIDIA Isaac Sim oder NVIDIA Isaac Lab.

In der Praxis kann der Workflow jedoch oft ins Stocken geraten, wenn Sie Agenten für die Robotik entwickeln. Es ist verlockend, den schwierigen Teil der Policy, dem Modell oder dem Trainingszyklus zuzuschreiben, aber der Flaschenhals tritt oft früher auf: Der Roboter verfügt nicht über eine simulationsbereite Welt, in der er trainieren kann. Der zusätzliche Aufwand, der erforderlich ist, um eine 3D-Szene in diesen Zustand zu versetzen, ist mühsam, zeitaufwendig und liegt häufig außerhalb des Aufgabenbereichs des Robotik-Simulationsingenieurs.

Dieser Beitrag führt durch einen Agenten-Workflow zur Vorbereitung einer Blender-Szene für die Robotik-Simulation unter Verwendung von NVIDIA Omniverse-Bibliotheken. Codex, unterstützt von OpenAI GPT-6 Astra, koordiniert die Gesamtaufgabe, interpretiert Ergebnisse und leitet die Iteration an. Spezialisierte Subagenten, die mit dem Hermes-Agent-Harness erstellt und über NVIDIA NemoClaw bereitgestellt wurden, nutzen die Omniverse-Bibliotheken, um die Szene zu untersuchen, Simulations-Metadaten zu erstellen, die Physik zu konfigurieren und visuelle Preflight-Ansichten zu rendern.