NVIDIA、AIエージェントでロボットの歩行学習環境を自動構築・訓練する手法を公開

要点

• 米NVIDIAは2026年10月23日、複数のAIエージェントを連携させてロボットの歩行学習環境を自動構築・訓練するワークフローを公開した。

• 開発ハブ「RTX Spark」上で「Hermes」と「Nemotron 3.5 Bolt」がプロンプトから計画を作成し、「Astra」がCADなどで3Dアセットを生成する。

• 物理エンジン「Newton」とシミュレータ「NVIDIA Isaac Sim」を組み合わせ、小型ロボット「Microduck」用の障害物コースを再現する。

• 「NVIDIA Isaac Lab」とBlackwell世代のGPUにより、4,096並行環境での強化学習と実機配備を見据えた検証を実施する。

• 米NVIDIAは2026年10月23日、複数のAIエージェントを協調させ、ロボットの歩行学習環境の構築から強化学習までをシミュレーション内で行う新手法を公式ブログで発表した。検証では小型ロボット「Microduck」がリファレンスとして用いられ、自然言語の指示から3Dモデル作成、コース構築、大規模学習までを一気通貫で自動化している。同社は、開発者が独自のロボットやタスクへ応用可能なワークフローだとしている。

自然言語のプロンプトから計画を立案

作業は自然言語による指示（プロンプト）から始まる。ローカルでのAI開発や検証を担う開発ハブ「NVIDIA RTX Spark」上で、AIエージェントの「Hermes」と推論モデル「Nemotron 3.5 Bolt」が連携し、障害物コースの訓練計画を作成する。エージェントはMicroduckの公式ドキュメントを調べて機体の制約やサイズを把握し、コース配置や障害物の寸法、想定ルートを定めた詳細な計画書へと変換する。さらに参考画像から写実的なコンセプト画像を生成し、空間のスケール感やロボットの外観を確認するという。

CADや3Dソフトを操作してアセットを自動生成

計画に基づき、シミュレーション内に配置する障害物アセットを制作するのがAIエージェント「Astra」だ。Astraは抽出されたアセット一覧に沿って、必要なオブジェクトを順次生成していく。クラウドでの画像編集を経て、オープンソースの3D CADツール「FreeCAD」で形状をモデリングし、3DCG制作ツール「Blender」で質感（マテリアル）を設定する。完成したデータは、3Dシーン記述の標準規格であるUSD（Universal Scene Description）形式などで出力され、スロープや足場などの障害物が揃えられる。

Isaac SimとNewtonによる環境・物理シミュレーション

生成されたアセットは、ロボティクス向けシミュレーション環境「NVIDIA Isaac Sim」に集約されて障害物コースが組み立てられる。シーンの描画やセンサーのシミュレーションにはOmniverseライブラリが使われ、RTXレンダリングによって写実的な視覚観測データが生成される。ロボットの歩行やバランス維持といった物理挙動の計算には、物理エンジン「Newton」を採用している。スロープの傾斜や床面との摩擦など、現実世界に即したロボットと環境の相互作用をモデル化しているという。

4,096並行環境での知覚・移動ポリシー学習

続いて、ロボット学習フレームワーク「NVIDIA Isaac Lab」を用いて、障害物を回避しながら歩行するためのポリシー（行動方針）を強化学習（試行錯誤を通じて最適な制御則を獲得させる機械学習の手法）で訓練する。この工程ではワークステーション向けGPU「NVIDIA RTX PRO 6000 Blackwell Workstation Edition」を使用し、クラウド上で4,096個の並行環境を同時に実行した。ロボット頭部のカメラから得られる深度情報と機体自身の状態観測データを入力とし、周囲を認識しながらバランスを保って前進する能力を学習させている。

ローカルでの動作検証と実機配備への展開

Isaac Labで訓練を完了したポリシーはRTX Sparkへと戻され、Isaac Sim内で障害物検知やコース走破の成否が検証される。シミュレーション上での動作確認を終えた後は、現実世界の物理ロボットへ適用する「Sim-to-Real」の準備段階に進む。仮想と現実のギャップを埋めるため、高精度な駆動モデル（Better Actuator Models）の適用や、摩擦等の環境数値を意図的に変動させて耐性を高めるドメインランダマイゼーションが施される。なお、無償の3D資産ライブラリ「SimReady Central Library」や実機展開チュートリアルも提供されていると説明している。