NVIDIA、3D Gaussian splattingで走行シーンを再構成し新車種への自動運転AI適応を効率化する「Omniverse NuRec」のワークフローを公開

要点

• NVIDIAは、実走行データから3D Gaussian splattingを用いてシーンを再構成し、新車種向けのカメラ映像を生成する技術「Omniverse NuRec」のワークフローを公開した。

• 車種ごとにセンサー配置や視野角が異なる自動運転認識システムの開発において、実車の走行データ収集前に合成データを活用したモデル適応を可能にする。

• Hugging Face上で1,500以上の再構成シーンを含む「Physical AI NuRec Dataset」を公開し、GitHubでは一連の自動化スキルを提供している。

• 社内の自動運転プログラムによる検証では、ゼロショットベースラインと比較して新車種における物体検出の適合率および再現率の向上が確認された。

• 米NVIDIAは2026年8月31日、同社の技術ブログにおいて、実世界の走行データを活用して自動運転の認識モデルを異なる車種向けに適応させるツール「NVIDIA Omniverse NuRec」とそのワークフローを公開した。

• 同ツールは3D Gaussian splatting技術を用いて過去の走行データを高精度に再構成し、開発中の新車種が持つセンサー配置に合わせた新たな視点映像を合成して認識AIの学習に役立てる手法を提案している。

車種変更に伴う自動運転認識モデルの課題

自動運転システムにおける周囲環境の認識ソフトウェアは、センサーが搭載される車両の形状や構造に強く依存する。例えば、同じ認識システムをSUVからセダンなどの異なる車種やバリエーションへ移行した場合、センサーの取り付け位置や高さ、視野角（FOV）、死角、車体による遮蔽、カメラのキャリブレーション（カメラの位置姿勢やレンズ歪みを補正するパラメータ設定）などが一変する。

これにより、同じ標識や信号機が画面内の異なる位置に映ったり、路肩の縁石が見えにくくなったり、カメラの画角端に位置する歩行者の識別が困難になるなどの問題が生じるという。しかし、新しい車種が登場するたびに実車を走らせて大規模な走行データを収集し、アノテーション（画像内の物体や車線などに正解ラベルを付与する作業）を行う作業は多大なコストを要する。また、車両開発の初期段階では実車フリートが存在しないことも多く、稀な危険事象を実走で網羅的に記録することは容易ではない。

実世界での走行データはシステムの性能検証に依然として不可欠であるものの、ターゲット車種のデータセットが揃う前段階において、合成データを活用したモデル適応が求められていた。

3D Gaussian splattingを活用したNuRecの機能

こうした車種間の移行課題（カーライン適応）を解決するため、NVIDIA Omniverse NuRecは既存車両で記録された走行データから環境を再構成し、ターゲット車両の視点に応じた新しいカメラ映像をレンダリングする。NuRecは3D Gaussian splatting（多数の微小な3次元楕円体を用いて空間を高精度に再構成・描画する技術）を活用しており、車種適応において以下の2つの主要な機能を備えている。

1つ目は「新視点生成（Novel-view synthesis）」機能である。NuRecは空間上のガウス関数を「gsplat」を通じて指定されたカメラモデルへ投影・描画する。これにより、ピンホールカメラや魚眼レンズ、f-thetaレンズといった多様なレンズモデルのほか、カメラの内的・外的パラメータや視野角を自由に変更して、目的とする新車両の視点から見た映像をレンダリングできる。

2つ目は「シーンデータとアノテーションの再利用性」である。再構成されたシーンデータには、元の車両の走行軌跡やカメラごとのキャリブレーション、動的オブジェクトのトラッキング情報、地図データが保持されている。そのため、新たに生成されたカメラ映像に対しても、車両や歩行者などの物体、レーン、信号機、道路境界といった既存のラベル情報を正確に合わせて引き継ぐことが可能となっている。開発者は既存データを再利用することで、新車両のセンサー配置でシーンがどう見えるか、幾何学的な変更によってどこに弱点が生じるか、どのようなギャップに対して実走データ収集が必要かを分析できる。

4段階の適応ワークフローと検証結果

NVIDIAは、NuRecを用いた認識モデルの適応プロセスとして、以下の4つのステップを紹介している。

1. リグ構成のペアリング: 再構成された走行シーンと、移行先となるターゲット車両のセンサーリグ（配置）設定を紐付ける。
2. 新視点のレンダリング: ターゲット車両のカメラ位置および仕様に合わせて映像を描画する。
3. Harmonizerによる補正: レンダリングされたフレームに対し、後処理ツール「NVIDIA Harmonizer」を適用し、フレーム間の時間的な一貫性を担保する。
4. 認識モデルの学習: 後処理を施した合成データセットを用いて、ターゲット車両向けの物体認識モデルを学習させる。

同社内の自動運転開発プログラムにおいて検証を実施したところ、事前の車種適応を行わないゼロショット（対象車種の事前学習データがない状態）のベースラインと比較して、NuRecでレンダリングされた合成データで学習させたモデルは、新車種における物体検出の適合率（Precision）および再現率（Recall）において相対的な向上が測定されたと報告されている。

公開データセットと開発リソース

NVIDIAは本ワークフローの実装を支援するため、関連リソースを一般の開発者向けに提供している。

機械学習プラットフォームのHugging Face上では「Physical AI NuRec Dataset」が公開された。このデータセットには、6台のカメラで撮影された各約20秒の再構成走行シーンが1,500件以上収録されており、USDZ形式のシーンファイルやサンプルのターゲットリグ設定が含まれている。

さらに、GitHub上のリポジトリ「NVIDIA/nurec-skills」を通じて、シーンデータのダウンロードからNuRecによるレンダリング、Harmonizerの後処理までの一連の処理を実行するエージェントスキルが公開された。また、対応ハードウェアやセットアップ要件、検証手順をまとめた公式ドキュメントも整備されている。