NVIDIA、「Dynamo-Triton」でTensorRTマルチGPU推論に対応　動画生成で最大6倍超の高速化を実証

要点

• 米NVIDIAは、推論サーバー「NVIDIA Dynamo-Triton 26.07」において、TensorRTバックエンドのマルチデバイス推論機能を有効化したと発表した。

• 単一のモデルインスタンスが複数GPUを統括し、単一のgRPCエンドポイントを通じて分散推論を提供可能になった。

• クライアント側でGPUランクの協調処理や通信管理を行う必要がなくなり、マルチGPU推論パイプラインの構築が簡素化される。

• 動画生成モデル「NVIDIA Cosmos 3 Nano」を用いた検証では、8基のGPU利用時に生成時間が156.6秒から34.2秒へ短縮し、トランスフォーマー処理で最大6.09倍の高速化を達成した。

• 米NVIDIAは2026年9月21日、同社公式技術ブログにて、推論サービングソフトウェア「NVIDIA Dynamo-Triton」のバージョン26.07において「NVIDIA TensorRT」のマルチデバイス推論機能に対応したと発表した。この統合により、複数のGPUにまたがる大規模な生成AIモデルの分散推論を、単一のエンドポイントから容易に呼び出せるようになるという。

単一エンドポイントによる複数GPUの分散推論制御

生成AIモデルの大規模化に伴い、計算量やメモリの要求が単一GPUの処理能力を超えるケースが増加している。これに対し、NVIDIAは「TensorRT 11.0」以降、NCCL（GPU間で高速な通信を行うライブラリ）を活用した分散集団通信によって、TensorRT固有の最適化を維持したまま単一ネットワークを複数GPUで実行する「マルチデバイス推論」をサポートしてきた。

従来の環境では、複数GPUを用いた分散処理を行う際に、クライアント側で各GPUのランク（並列処理における各担当ノード）や通信ライフサイクルを制御する必要があった。今回リリースされたDynamo-Triton（旧称 NVIDIA Triton Inference Server）のバージョン26.07では、TensorRTバックエンドのマルチデバイス推論機能が有効化された。

これにより、1つのモデルインスタンス（KIND_MODEL）が複数のGPUを専有し、各ランクごとのTensorRT実行コンテキスト、CUDAストリーム、NCCLコミュニケーターを自動生成した上で、リクエストごとに全ランクを一括起動する。クライアント側のアプリケーションは個別のGPU協調処理を行うことなく、単一の名前付きモデルに対してgRPCエンドポイント経由で推論を要求できるようになった。

動画生成モデル「Cosmos 3 Nano」での実装構成

NVIDIAは今回の統合効果を示す具体例として、長尺シーケンスを扱う動画生成モデル「NVIDIA Cosmos 3 Nano」を用いた構成を紹介している。

本システムでは、ライブラリ「Diffusers」がプロンプト処理、潜在変数の管理、CFG（プロンプトへの忠実度を高める手法）、スケジューリング、VAEデコード、および生成後のフレーム処理といった周辺ワークフロー全体のオーケストレーションを担当する。一方、計算負荷の核となる36層のデノイジング・トランスフォーマー（ノイズを除去して映像を生成するネットワーク）のサービングをDynamo-Tritonが担う。

デプロイ時には、分散処理用のUlyssesグラフ（長いトークン列を複数GPUへ分散するコンテキスト並列手法）があらかじめTensorRTプランへとコンパイルされる。Dynamo-Tritonはこのプランを読み込んでマルチランクの実行状態を作成し、44,160個に及ぶ動画トークンを最大8基のNVIDIA GPUに分散して並列処理を実行する。

8基のGPUで生成時間を大幅短縮、品質基準も維持

ブログ内で示された検証結果によると、GPUリソースを追加することで推論レイテンシ（遅延時間）を大幅に削減できることが実証された。

Cosmos 3 Nanoにおけるエンドツーエンドの動画生成時間は、GPU 1基構成時の156.6秒から、GPU 8基構成時には34.2秒へと大幅に短縮された。また、トランスフォーマーのRPC（リモート手続き呼び出し）処理においては、最大6.09倍の高速化が確認されたという。あわせて実施された視覚的な品質検証（Visual Validation）においても、生成された映像が出力品質の規定基準を満たしていることが確認されている。

同社は、アプリケーションのインターフェースや周辺ワークフローを維持したまま、GPUを追加するだけで遅延を短縮できると説明している。特に応答性が重視される動画などの生成メディア制作において、待ち時間の削減やレビューサイクルの迅速化につながるとしている。