NVIDIA、エッジデバイス向け40億パラメータの世界モデル「Cosmos 3 Edge」を公開

要点

• NVIDIAが、エッジデバイス向けに設計された40億パラメータの世界モデル「Cosmos 3 Edge」を公開した。

• 同サイズモデルの中でベンチマーク「VANTAGE-Bench」1位を獲得し、ロボット制御において最先端の性能を示す。

• 自己回帰タワーと拡散タワーを組み合わせ、環境の理解から未来のシミュレーションまでを1つのモデルでカバーする。

• 異なるロボットのアクションを、共通の幾何学的ベクトルとして表現する仕組みを導入した。

• 物をつまんで置くタスク向けに事後学習された制御ポリシーと、追加学習用スクリプトも同時に提供される。

• 米NVIDIAは2026年7月20日、エッジデバイス上でリアルタイムに周囲の環境を理解し、ロボットの動作を生成できる40億パラメータの世界モデル「Cosmos 3 Edge」をHugging Faceで公開した。ロボットや視覚AIエージェントが、メモリ制約の厳しいオンデバイス環境でもデータセンター級の性能で自律動作することを目指して開発された。

メモリ制限のあるエッジ環境でデータセンター級の処理を実現

物理的なロボットには、周囲の変化を認識し、自身の行動がもたらす影響を判断する能力が求められるが、従来は膨大な計算資源が必要だった。「Cosmos 3 Edge」は、40億パラメータ（モデルの学習規模や表現力を示す数値）というコンパクトさで、優れた処理効率とリアルタイム推論（学習済みモデルを用いて予測や判断を行う処理）を実現している。

本モデルは、RTX PROやGeForce RTX、DGX、さらには「Jetson T2000」「T3000」を含むNVIDIA製エッジコンピュータに最適化されている。世界アクションモデルとして動作させた場合、640×360ピクセルの解像度で動作し、「NVIDIA Jetson Thor」上では1回の推論につき32のアクションを生成しつつ、15Hzでのリアルタイム制御を達成しているという。

また、同等サイズのモデル群との比較において、ビジョン分析ベンチマーク「VANTAGE-Bench」で1位を獲得したほか、ロボットの行動方針を決定するポリシー学習でも最先端の性能を記録している。

物理的な因果関係をシミュレートする「世界モデル」

本モデルが採用する「世界モデル」とは、AIが環境の物理的ルールや時間変化（位置、運動、空間的関係、アクションの影響など）をシミュレーションして学習する技術である。

例えば、ロボットアームが物体を掴む際、単に対象を認識するだけでなく、自身の動きや接触時の変化、最適なアクションを推論する必要がある。世界モデルは、これらの因果関係の推論を支援する。行動による視覚的変化の予測や、変化からの行動の逆引き推論、アクション生成が可能だ。Cosmos 3 Edgeは、現状を把握して未来をシミュレートし、実際の行動へと直結させる。

異なる役割の2タワー構成とアテンションの共有

技術的な特徴として、役割の異なる2つのTransformer（データを高度に処理するネットワーク構造）タワーで構成されている。

1つ目は画像とテキストを処理して理解や思考を担当する「自己回帰（過去のデータから順に予測する手法）タワー」で、2つ目は画像・音声・アクションを処理し予測やシミュレーションを行う「拡散（ノイズからデータを復元して生成する技術）タワー」である。

両タワーは個別の計算回路を持つが、「マルチモーダルアテンションレイヤー（データの中でどこに注目すべきかを判断する仕組み）」を共有し、異なる形式の情報を正確に結びつけている。また、情報の性質に応じてアテンションのパターンも調整され、一貫性のある未来予測を可能にしている。

多様なロボットを統合する共通アクション表現と制御ポリシー

実世界で動作するデバイスは、その形態によってアクションの表現方法が異なる。Cosmos 3 Edgeは、車両の移動やロボットアームの動きといった差異を吸収し、幾何学的なベクトルで構成される「共通アクション表現」へとマッピングする。

この共通表現は「並進」「回転」「操作状態」の3要素で構成され、映像内のピクセル変化と物理的な運動や制御入力を直接関連付ける。これにより、生成される予測映像は、単なるグラフィックではなく「行動の結果として世界がどう変化するか」という因果関係を含んだシミュレーションデータとなる。

さらに、現在の状態を入力することで、取るべき行動とその予測映像を同時に出力する「ポリシー（ロボットなどが特定の状態で取るべき行動ルール）モード」も備えている。モデル公開と同時に、物をつまんで置くタスク向けにDROIDデータセットで追加学習を施したロボット制御ポリシーと学習用スクリプトも提供されている。