Cách sử dụng AI Agent để chuẩn bị cảnh 3D cho mô phỏng | NVIDIA Technical Blog

Luồng công việc AI tác nhân (Agentic AI) có thể được sử dụng để chuẩn bị và xác thực bản sao số (digital twins) cho các hệ thống AI vật lý (physical AI). Các tác nhân có thể kiểm tra các cảnh 3D, tạo dữ liệu liên quan đến mô phỏng trong OpenUSD, thêm các thuộc tính vật lý, kết xuất các chế độ xem trước khi bay (preflight) và xác thực kết quả theo các yêu cầu sẵn sàng mô phỏng (SimReady). Luồng công việc này tuân theo quy trình đó từ một cảnh trong Blender đến việc bàn giao OpenUSD sẵn sàng mô phỏng cho NVIDIA Isaac Sim hoặc NVIDIA Isaac Lab.

Tuy nhiên, trên thực tế, nếu bạn đang xây dựng các tác nhân cho robot, luồng công việc thường có thể bị tắc nghẽn. Thật dễ dàng để đổ lỗi phần khó khăn cho chính sách, mô hình hoặc vòng lặp đào tạo, nhưng nút thắt cổ chai thường xảy ra sớm hơn: robot không có một thế giới sẵn sàng mô phỏng để đào tạo. Công việc bổ sung cần thiết để đưa một cảnh 3D vào trạng thái đó rất cực nhọc, tốn thời gian và thường nằm ngoài phạm vi công việc của kỹ sư mô phỏng robot.

Bài viết này hướng dẫn luồng công việc của tác nhân để chuẩn bị một cảnh Blender cho mô phỏng robot bằng cách sử dụng Thư viện NVIDIA Omniverse. Codex, được hỗ trợ bởi OpenAI GPT-6 Astra, điều phối nhiệm vụ tổng thể, diễn giải kết quả và hướng dẫn lặp lại. Các tác nhân phụ chuyên biệt được xây dựng với khung tác nhân Hermes và được triển khai thông qua NVIDIA NemoClaw sử dụng Thư viện Omniverse để kiểm tra cảnh, tạo siêu dữ liệu mô phỏng, cấu hình vật lý và kết xuất các chế độ xem trước khi bay trực quan.