AI 에이전트를 활용하여 시뮬레이션용 3D 장면을 준비하는 방법 | NVIDIA Technical Blog

에이전트형 AI 워크플로우를 사용하여 피지컬 AI 시스템을 위한 디지털 트윈을 준비하고 검증할 수 있습니다. 에이전트는 3D 씬을 검사하고, OpenUSD에서 시뮬레이션 관련 데이터를 작성하며, 물리적 속성을 추가하고, 프리플라이트 뷰를 렌더링하고, 시뮬레이션 준비 완료(SimReady) 요구 사항에 따라 결과를 검증할 수 있습니다. 이 워크플로우는 Blender의 씬에서 NVIDIA Isaac Sim 또는 NVIDIA Isaac Lab을 위한 시뮬레이션 준비가 된 OpenUSD 핸드오프까지의 프로세스를 따릅니다.

하지만 실제로 로보틱스용 에이전트를 구축하다 보면 워크플로우가 중단되는 경우가 많습니다. 정책, 모델 또는 훈련 루프의 어려운 부분을 탓하기 쉽지만, 병목 현상은 종종 그보다 일찍 발생합니다. 즉, 로봇이 훈련할 시뮬레이션 준비가 된 월드가 없는 것입니다. 3D 씬을 해당 상태로 만드는 데 필요한 추가 작업은 힘들고 시간이 많이 걸리며, 로보틱스 시뮬레이션 엔지니어의 범위를 벗어나는 경우가 많습니다.

이 포스팅에서는 NVIDIA Omniverse 라이브러리를 사용하여 로보틱스 시뮬레이션을 위한 Blender 씬을 준비하는 에이전트 워크플로우를 살펴봅니다. OpenAI GPT-6 Astra가 구동하는 Codex는 전체 작업을 조정하고 결과를 해석하며 반복을 가이드합니다. Hermes 에이전트 하네스로 구축되고 NVIDIA NemoClaw를 통해 배포된 전문 서브 에이전트는 Omniverse 라이브러리를 사용하여 씬을 검사하고, 시뮬레이션 메타데이터를 작성하고, 물리를 구성하고, 시각적 프리플라이트 뷰를 렌더링합니다.

이러한 구성 요소는 추론, 도구 실행 및 검증을 시뮬레이션 준비가 된 OpenUSD 월드를 제공하기 위한 반복 가능한 프로세스로 연결합니다.

시뮬레이션을 위한 3D 씬 준비가 왜 어려운가요?

씬은 존재합니다. 3D 아티스트가 Blender에서 만든 에셋이 있지만, 그것이 시뮬레이션에 사용 가능한가요? 다음과 같은 모든 준비 작업이 완료되었나요?

• 객체에 라벨이 지정되었나요?
• 충돌 메시가 정확한가요?
• 재질이 시뮬레이션에 의미가 있나요?
• 센서가 배치되고 구성되었나요?
• 씬이 USD로 깔끔하게 내보내지나요?
• 로봇이 대상 객체를 인식할 수 있나요?
• Isaac Sim 또는 Isaac Lab에서 디버깅하는 데 시간을 허비하기 전에 씬이 검증을 통과할까요?

이러한 준비 작업은 지루하고 반복적이며 실수하기 쉽습니다. 또한 적절한 도구만 있다면 에이전트형 시스템이 도와야 할 바로 그러한 종류의 작업입니다. 에이전트 워크플로우에서 NVIDIA Omniverse 라이브러리를 사용하는 목적은 에이전트가 SimReady 월드를 구축하는 데 필요한 도구를 통합하는 것입니다.