NVIDIA、ロボット制御の新アプローチ「WAM」と基盤モデル「Cosmos 3」を公開——物理予測の導入で汎用性を向上

要点

• NVIDIAは、ロボットの行動決定において物理法則の予測を重視する「World Action Model（WAM）」の研究と、その基盤となる「Cosmos 3」モデルの詳細を公表した。

• WAMは従来の「VLA」モデルで用いられていた言語ベースのモデルに代わり、ビデオ世界モデルを採用することで未知の環境やタスクへの高い適応力を持つ。

• 多様な物理データから学習できるWAMは、従来のVLAに比べてロボットの訓練に必要なデータ収集のコストを大幅に削減可能とする。

• 基盤モデル「Cosmos 3」は、数億件の画像や動画、アクションサンプルを学習したオープンなマルチモーダルモデルである。

• Cosmos 3は高性能なワークステーションから、エッジデバイスであるJetsonハードウェア上でのリアルタイム推論まで幅広い実装に対応する。

• 米国時間2026年8月4日、NVIDIAは技術ブログでロボット制御（ロボットの動作決定メカニズム）の新アプローチ「World Action Model（WAM：世界行動モデル）」の有効性と、その基盤となるオープンモデル「NVIDIA Cosmos 3」について公開した。従来の言語ベースの制御モデルが抱えていた物理的環境変化への弱さを、ビデオに基づく世界モデルを組み込むことで克服し、ロボットの汎用的な制御性能を向上させるという。

ロボット制御の課題と「VLA」の限界

ロボット制御における大きな課題の一つは、訓練時の実演データ（デモンストレーション）を超えて未知の状況に適応する「一般化」の能力である。実演環境からオブジェクトの形状や配置、照明が少し変わるだけで、ロボットの制御モデル（ポリシー）は容易に失敗してしまう。ロボットが新しい環境でタスクを成功させるには、単にデモンストレーションの動きを模倣するだけでなく、そのタスクの背景にある物理法則を理解している必要がある。

現在、言語指示を受け取るロボットの制御ポリシーを構築する標準的な手法は、事前に訓練された「VLM（画像と言語を処理するモデル）」に動作モジュールを追加した「VLA（ビジョン・ランゲージ・アクション：画像・言語・行動を統合したモデル）」が主流である。この手法はロボット操作を大きく進化させたが限界もある。バックボーンであるVLMは「世界を説明する」ように訓練されており、「世界がどう変化するかを予測する」ようには作られていないためだ。

ロボットがタスクを遂行する際、例えばグリッパー（ロボットの手先）を閉じたときにマグカップがどう動くか、手を離したときに物体がどこに落下するかといった、周囲の動的な変化を見越して動く能力が必要だ。VLAはこの物理予測を行う「ダイナミクスモデル（物理法則や挙動の変化を予測する仕組み）」を欠いているため、未知の環境への「物理的な一般化」が困難だった。

WAM（世界行動モデル）がもたらす変革

そこで、言語バックボーンをビデオによる「世界モデル（周囲の物理挙動をシミュレート・予測するモデル）」に置き換える「WAM」の研究が進んでいる。NVIDIAの研究者であるジム・ファン氏は、ロボット制御の最終目標としてこの方向性を示し、「VLAは死んだ、世界行動モデル（WAM）万歳」と要約される議論を展開している。

共同研究論文「World Action Models are Zero-shot Policies」によれば、動画予測と行動予測を同時に行うことで、WAMは従来のVLAにはない以下の特性を備えるという。

• 多様なデータからの学習: 従来のVLAは精密な同一タスクの実演データが大量に必要だった。しかしWAMは「押す、掴む、落とす」といった物理的な相互作用そのものを学習するため、あらゆるインタラクションデータが学習シグナルとなり、データ収集コストが下がる。
• オープンワールドでの一般化: 物理法則は意味論（セマンティクス）よりも普遍的だ。物体の落下やスライドの仕方は対象物によらず共通なため、未学習のシーンや動作に対しても物理知識を応用できる。
• 新しいロボットへの迅速な適応: 物理の基礎を理解しているため、新しいロボットアームやグリッパーへ適応させる（ポストトレーニングと呼ばれる追加学習）際に、必要となるデモンストレーションデータが極めて少量で済む。

これにより、開発チームにとっては、一定の能力に達するまでのデータ量を削減でき、訓練データに含まれない領域での動作信頼性が高まり、新しいロボットへの移行期間が短縮されるという実用的なメリットが得られる。

Cosmos 3が支えるWAMの基盤

NVIDIAの「Cosmos 3」は、このWAMを構築するための強力なオープン基盤モデル（他のモデルを育てる土台となる大規模モデル）である。

Cosmos 3は、「Mixture-of-Transformers（MoT：複数の異なる処理ユニットを組み合わせて効率的に処理する構造）」を採用した「omni-model（オムニモデル：多目的基本モデル）」だ。数億件の画像や動画、アクションサンプルを含む巨大データセットで訓練されており、入力情報は自己回帰トランスフォーマーを通じて処理される。

高性能なワークステーションでの処理から、エッジデバイスである「NVIDIA Jetsonハードウェア」上でのリアルタイムなデバイス内推論にいたるまで、多様な環境での実装に対応している。多様なロボット形態への適用において、タスク特有の追加データを大幅に削減しながらも、動作性能を向上させるとしている。