NVIDIA、物理AI「Cosmos 3」を1日で事後学習する手法を公開――TAOエージェントスキルとAutoMLの活用で正解率93.35%を達成

要点

• NVIDIAは、物理AI世界モデル「Cosmos 3」をビジョン微調整用の「TAOエージェントスキル」と組み合わせ、効率的に事後学習を行うワークフローを実証した。

• 交通安全に関する動画質問応答のテストにおいて、事後学習後のモデルの正解率は初期状態の54.41%から最大93.35%へと大幅に向上した。

• 自律的なコーディングエージェントとTAOの自動機械学習機能「AutoML」を活用することで、これまで数日かかっていた調整作業をわずか1日に短縮した。

• 学習済みのモデルは、NVIDIAのマイクロサービス「Cosmos 3 Reasoner NIM」を利用して、インフラ構築の複雑さを排除した状態で本番環境へ容易にデプロイできる。

• 米NVIDIAは2026年7月14日（現地時間）、同社のオープンな物理AI（現実世界の物理的な法則や動きを理解するAI）世界基盤モデル「NVIDIA Cosmos 3」を、AIエージェントのスキルと「NVIDIA TAO」ライブラリを用いて1日で事後学習（ポストトレーニング）する新たな手法を技術ブログで公開した。この取り組みにより、特定の応用分野に適応させた動画質問応答タスクにおけるモデルの回答精度が、従来の54%台から90%以上にまで高まったという。

現場適応におけるエンジニアリング課題の解消

ビジョン推論モデル（画像や動画の情報を読み取って論理的に考えるモデル）を実際の生産環境で利用する場合、カメラの角度や周囲の環境といった特定の現場にモデルを適応させる必要がある。しかし開発現場では、データのフォーマット変換やコンテナ環境の構築、トレーニング用スクリプトの作成、ハイパーパラメータ（学習の進み方を制御する設定値）の調整といった前準備に何日も費やされることが多く、実用化のボトルネックとなっていた。

NVIDIAが今回公開したワークフローは、こうした課題への解決策を示すものだ。オープンモデルである「NVIDIA Cosmos 3 Nano（16B：160億パラメータモデル）」を対象に、コーディング支援を行うAIエージェントと、NVIDIA TAOライブラリに格納されている微調整（ファインチューニング）用の各種スキルを連携させることで、エンジニアの手作業をほとんど挟むことなく、自律的な事後学習を完了させることができる。

劇的な精度向上とAutoMLによる最適化

今回の実証実験では、交通安全に関する動画データセット「Woven Traffic Safety」を用いた4択の動画質問応答タスクが実施された。

事前学習の段階のまま（ゼロショット）で実行した際の完全一致正解率は54.41%にとどまっていた。これに対し、追加学習のパラメーター数を絞って効率的に調整を行う「LoRA（低ランク適応）」を用いた最初の学習を実行したところ、正解率は即座に87.14%へと跳ね上がった。

さらに、ハイパーパラメータの組み合わせを体系的に探索する自動機械学習機能「TAO AutoML」を適用することで、最終的なピーク正解率は93.35%にまで達したという。これにより、従来であれば人間が数日かけて試行錯誤していた調整プロセスが、数回の自然言語によるプロンプト（AIへの指示テキスト）をきっかけとした、わずか1日の自動実行に凝縮された。

Cosmos 3を支える「MoT」アーキテクチャ

Cosmos 3は、テキストや画像、動画、環境音、アクションの追跡データを単一の世界モデルとして統合的に処理する「mixture-of-transformers (MoT)」と呼ばれるアーキテクチャを採用している。

このMoTアーキテクチャは、推論や計画を担う「自己回帰トランスフォーマー」と、将来の世界の状態やアクションを予測する「拡散トランスフォーマー」の2つのタワーで構成されている。入力された各情報の種類は、トークン（AIが認識するデータの基本単位）に変換された後、個別のLayerNormおよびMLPブロックで処理される。そして、自己回帰トランスフォーマー側で計算されたキーと値の状態（K AR、V AR）が、拡散トランスフォーマーのフルアテンションブロックにクロスストリーム（相互接続）経由で渡されることで、テキストと視覚のコンテキスト（文脈）が統合される仕組みとなっている。

Cosmos 3は、動画理解のベンチマークである「VANTAGE-Bench」や世界生成精度の「PAI-Bench」などでオープンモデルの中での首位を獲得しており、今回の手法によってその高いベース性能を特定の産業ニーズへ迅速に適応できることが実証された。

NIMによるシームレスな本番展開

事後学習を終えたLoRAアダプター（調整されたモデルの差分データ）を本番環境へ配置するプロセスも簡素化されている。

開発者は、事前構築されたNVIDIAの推論用マイクロサービス「Cosmos 3 Reasoner NIM」を利用することで、複雑なインフラの構築やGPU向けの並列計算プラットフォーム「CUDA」の依存関係を意識することなく、OpenAIのAPIと互換性のあるエンドポイントからモデルを直接呼び出すことができる。NIMの活用により、従来の運用で障壁となっていたデプロイメントの複雑さが排除されると説明されている。