NVIDIA、AIエージェントで3Dシーンをロボットシミュレーション用に自動変換するワークフローを公開

要点

• NVIDIAは、Blenderで制作された3Dシーンをロボティクスシミュレーション向けデータへ自動で整備・変換するAIエージェントワークフローを解説した。
• OpenAIのGPT-6 Astraを搭載したCodexなどの大規模言語モデルが全体を統括し、NVIDIA NemoClawを通じて専門サブエージェントが作業を分担する。
• 3Dデータの共通仕様であるOpenUSDをベースに、Omniverseの各種ツールを用いて物理演算設定、センサー配置、事前レンダリングを実施する。
• SimReady基準に基づく自動検証を経て、完成したデータがIsaac SimやIsaac Labといったロボット開発環境へ引き渡される。

• NVIDIAは2026年9月16日、自社の公式技術ブログにおいて、AIエージェントを活用して3Dシーンデータをロボット向けシミュレーション環境へ自動で最適化するワークフローを公開した。

• オープンソースの3D制作ソフトウェア「Blender」で作成されたシーンを取り込み、ロボティクスシミュレーションで即座に動作可能な形式へと整備する一連の仕組みが紹介されている。ロボット開発における大きな負担となっていた3Dデータの準備工程を、自律型AIと専用ツールの連携によって自動化・効率化する試みだという。

シミュレーション環境の構築における課題

記事では、ロボット開発において学習ループやポリシーモデルの手前にある「シミュレーション用ワールドの準備」が開発のボトルネックになりやすいと指摘されている。

3DアーティストによってBlender上でアセットが作成されていても、それをそのままシミュレーションで扱うことはできない。対象オブジェクトへの意味付け（セマンティックラベル）の付与、正確な衝突判定（コリジョンメッシュ）の構築、シミュレーションに適したマテリアル設定、カメラやLiDAR（レーザー光を用いて対象物までの距離を計測するセンサー）の配置、OpenUSD形式への適切な書き出しなど、膨大な調整作業が求められるためである。

これらの前処理は工程が複雑でミスが起きやすく、ロボティクスエンジニアにとって時間のかかる重い作業になっていたと説明されている。

LLMと専門サブエージェントによる連携体制

今回示された手法では、タスク全体を統括する汎用エージェントと、個別の作業を実行する専門サブエージェントを組み合わせた階層的な構造が採用されている。

全体の司令塔として、OpenAIの次世代モデル「GPT-6 Astra」を搭載したCodexやAnthropicのClaudeが配置され、全体の進行管理や結果の解釈、反復的な指示出しを担当する。

一方で、個別の具体的な作業には、エージェント実行基盤「Hermes」で構築され「NVIDIA NemoClaw」を介してデプロイされる特化型サブエージェントが割り当てられる。これにより、シーンの認識にとどまらず、ツールを直接操作してメタデータの追加や設定変更を自律的に進める体制を構築しているという。

OmniverseライブラリとOpenUSDを用いた処理手順

実際のデータ整備プロセスは、BlenderとAIを接続する「Blender Model Context Protocol（MCP）サーバー（AIと外部ソフトウェア間でデータをやり取りするための通信規約）」を通じたシーンの読み込みから開始される。

データの受け渡しと編集には、3Dシーンの階層構造やメタデータを保持したまま非破壊で編集できるオープンな規格「OpenUSD」が使用される。オリジナルの制作データを損なうことなく、エージェントがラベルや物理設定を反復して書き込める共通レイヤーとして機能するという。

エージェント群は、オブジェクトに対してタスクに応じたクラス分類タグを付与し、カメラやLiDARといったセンサーを環境内に構成する。さらに、NVIDIA Omniverseの物理ライブラリ「ovphysx」を用いて剛体特性や衝突形状を割り当て、レンダリングツール「ovrtx」によって目視確認用のプレフライト画像を生成する。

SimReadyによる自動検証とシミュレーション環境への受け渡し

作業の最終工程では、「SimReady（物理シミュレーションで即座に利用可能な品質基準を満たす規格）」に基づく自動検証が行われる。

あらかじめ定義されたターゲットプロファイルと照合し、軽微で安全な問題は自動的に修復される。検証を無事に通過したOpenUSDデータのみが、NVIDIAのロボティクスシミュレーション環境である「NVIDIA Isaac Sim」や「NVIDIA Isaac Lab」へ最終的に引き渡される。

NVIDIAは、これらの推論、ツール実行、検証を統合した仕組みにより、再現性の高いシミュレーション環境構築プロセスを実現できるとしている。