NVIDIA、ロボット向け40億パラメータモデル「Cosmos 3 Edge」のオンデバイス制御手法を公開

要点

• NVIDIAは、物理世界の挙動を学習した40億パラメータのモデル「Cosmos 3 Edge」をロボット制御向けに事後学習させる手法を発表した。

• 組み込み向けハードウェア「NVIDIA Jetson Thor」上で完結して動作し、外部データセンターのGPUとの通信を必要としない。

• 「Jetson AGX Thor T5000」での検証において、約2.13秒分のロボット動作を約1.53秒で生成し、途切れのない連続的なアーム制御を実現した。

• 学習データセットやフレームワーク、モデルのチェックポイントはオープンソースとして公開されている。

• NVIDIAは2026年8月19日、同社のテクニカルブログにおいて、40億パラメータ（4B）規模のモデル「Cosmos 3 Edge」を事後学習（ポストトレーニング）し、組み込み機器上でロボットを直接制御する手法を発表した。

• 物理世界における物体の挙動をあらかじめ学習した「ワールドモデル（物理法則や環境の動きを予測・再現するAIモデル）」を活用し、ロボット搭載機器「NVIDIA Jetson Thor」単体でリアルタイムな動作予測と制御を可能にしたという。データセンターのGPUに処理を分散させることなく、ロボット本体の計算資源のみで完結するオンデバイス制御の事例として紹介されている。

物理法則を事前学習した「Cosmos 3 Edge」の構成

Cosmos 3 Edgeは、NVIDIAの「Cosmos 3」シリーズに属するオムニモデル（多様なモダリティを横断して扱うモデル）である。20億パラメータ（2B）の「NVIDIA Nemotron」ベースの推論コンポーネントを含めた合計40億パラメータで構成されている。
上位モデルである「Cosmos 3 Nano」や「Cosmos 3 Super」と共通の物理世界データを用いて事前学習が行われており、物体が落下する、滑る、接触に対してどのように反応するといった物理的な相互作用の基礎知識をあらかじめ保持している。

従来のロボット向け制御ポリシー（行動方針）の開発では、タスクごとの実演データから物理法則をゼロから学習させる必要があった。これに対しCosmos 3 Edgeでは、モデルが元から備える物理的な理解と予測能力を行動生成のベースとして利用できるため、より効率的なポリシー学習が可能になるとしている。

メモリと遅延の制約を克服したリアルタイム制御

ワールドモデルを実際のロボットに展開する際には、ロボットに搭載された限られたメモリにモデルが収まるかという「デバイスメモリ」の制約と、必要な制御周波数を維持できるかという「制御レイテンシ（処理遅延）」の制約という、2つの実用上の課題が存在していた。
今回の事後学習手法により、Cosmos 3 EdgeはJetson Thorのメモリ容量内に収まるよう最適化され、ロボット本体に直接搭載して推論を実行できるようになった。

制御レイテンシの面でも実用的な性能が確認されている。「NVIDIA Jetson AGX Thor T5000」上で「DROID」行動ポリシーを動作させたテストでは、解像度640×540、15Hzの条件において、各アクションチャンク（一連の動作の塊）を約1.53秒で生成した。
1つのチャンクには約2.13秒分のロボット動作が含まれているため、現在の動作が完了する前に次の動作チャンクの生成が完了する。これにより、データセンターのGPUを介さずに、ロボットアームを停止させず滑らかに動かし続けることが可能だという。
同システムでは、毎回の観測ごとに再計画を行うのではなく、アクションチャンクを生成して推論サイクルごとに再計画を行う後退ホライズン制御（将来予測に基づき逐次制御を更新する手法）を採用している。閉ループ（環境からのフィードバックを反映する制御形態）の「RoboLab」タスクでの評価では、22.9%の成功率を達成したことが報告されている。

学習データ「Cosmos3-DROID」と他ロボットへの展開

チュートリアルで公開されたポリシーの学習には、「nvidia/Cosmos3-DROID」データセットが使用されている。このデータセットには、「Franka Panda」アームおよび「Robotiq」グリッパーを用いて収集された86種類のタスクと564のシーンにまたがる約350時間分、7万6000件の遠隔操作による成功データが収録されている。データは「LeRobotDataset v3.0」形式（解像度640×360）で管理されている。
データ準備のプロセスとしては、アイドリング状態やタスクに関係のないフレームの除外、成功した実演データの選別が行われ、学習時にはランダムクロップやサイズ変更、カラージッター（色調のランダム調整）などのデータ拡張が適用される。

また、開発者が自身のロボットデータを利用することも可能とされている。カメラ映像、関節の状態、グリッパーの状態、行動、タスク指示などのデータをLeRobot Dataset v3形式に変換することで、独自の構成に対応できる。
Cosmos 3はFrankaの双腕構成をはじめ、UR、WidowX 250、LeRobot SO101など、さまざまなロボット形態（エンボディメント）の制御をサポートしている。

オープンソースでの公開と検証ハードウェア環境

今回の手順は、GitHub上のオープンリポジトリ「cosmos-framework」を通じて再現可能となっており、学習済みモデルのチェックポイントは「Hugging Face」上で公開されている。
開発環境としては最新のCosmos frameworkのほか、学習時の検証ハードウェアとして「NVIDIA GB200 Grace Blackwell Superchip」または「NVIDIA GB300 Grace Blackwell Ultra Desktop Superchip」を搭載した「NVIDIA DGX Station」が挙げられている。ソフトウェア環境としては、CUDA 13.0（cu130）およびNGCコンテナ（26.06-py3）が指定されている。