OWN NEWS GATHER
← 戻る
NVIDIA Technical Blog

NVIDIA、マルチモーダルAI推論を最大7倍高速化する「EPD分離」の活用手法を公開

要点

  • 米NVIDIAはオープンソースの推論フレームワーク「Dynamo」を用い、画像エンコードとLLM処理を分割する「EPD分離」の検証結果を公表した。

  • 画像処理とテキスト生成処理を独立させることで、最初のトークン出力までの時間（TTFT）が最大5倍、全体の応答時間が最大7倍高速化する。

  • テキストと画像が混在する負荷環境において、処理の順番待ちを解消し、テキストリクエストのTTFTを42.2%短縮した。

  • 画像が多い入力や量子化されたMoEモデルで高い効果を発揮する一方、出力が長い場合や大規模な密結合モデルでは恩恵が小さくなる。

  • 米NVIDIAは2026年9月9日、自社技術ブログにおいて、マルチモーダルAIモデルの推論処理を効率化する「Encode-Prefill-Decode（EPD）分離」技術に関する解説とベンチマーク結果を公開した。同社のオープンソース推論フレームワーク「NVIDIA Dynamo」を用いることで、処理段階に応じた柔軟なリソース配置が可能になり、応答時間を大幅に短縮できるとしている。

マルチモーダル推論の課題とEPD分離の仕組み

マルチモーダルモデルの推論では、言語モデル（LLM）の処理に先立ち、画像や動画などの入力メディアを前処理し、Vision Transformer（ViT：画像認識モデル）によって特徴量データ（埋め込み）へと変換するエンコード工程が発生する。

従来の統合型（Aggregated）サービングでは、メディアのエンコード、LLMの入力処理（Prefill）、逐次的なテキスト生成（Decode）の全工程を単一のワーカーと同一のGPU上で実行していた。しかし、画像や動画の入力が増加するとエンコード処理に数百ミリ秒以上を要するようになり、同一GPUを共有する後続のLLM処理が滞る問題が生じていた。

これに対し、NVIDIA Dynamoが採用する「EPD分離」は、エンコード処理を担うワーカーと、PrefillおよびDecodeを担うワーカー（PDワーカー）を論理的に分離する。各処理段階が独立してバッチ処理やスケジューリング、スケーリングを行えるようにすることで、リソースの競合を防ぐ構造となっている。

3つの配置構成とデータ転送

EPD分離環境におけるワーカーの配置方法として、以下の3つのトポロジーが示されている。

  1. 統合型（Aggregated）: 単一のGPU内で全処理をまとめて実行する従来構成。
  2. コロケート型（Colocated）: エンコーダワーカーとPDワーカーを分離しつつ、同じGPUリソースを共有して運用する構成。
  3. 完全分離型（Disaggregated）: エンコーダ専用の独立した低コストGPU層を用意し、PDワーカーとは異なるハードウェアに分散配置する構成。

分離された構成では、エンコーダが生成した埋め込みデータを、専用のデータ転送ライブラリ「NVIDIA Inference Transfer Library（NIXL）」を介してPDワーカーへ高速転送する。

測定された性能向上と混在トラフィックの改善

ブログで示された検証結果によると、EPD分離を適用することで、最初のトークンが出力されるまでの時間（TTFT: Time to First Token）は最大5倍に短縮され、エンドツーエンドの応答時間は最大7倍の高速化を達成した。

特に、テキストのみのリクエストと画像を含むリクエストが混在する環境で顕著な改善が見られた。従来の統合型では、重い画像処理によって後続のテキストリクエストが待たされる「先頭ブロッキング（Head-of-line blocking）」が発生していたが、EPD分離によってこれが解消された。その結果、平均TTFTはテキストリクエストで42.2%、画像リクエストで30.8%削減されたという。

さらに、LLM側の重みを「NVFP4（4ビット浮動小数点フォーマット）」に量子化しつつ、ビジョンエンコーダの精度を「BF16（16ビット脳浮動小数点フォーマット）」に維持した場合、コロケート型EPDのGoodput（有効スループット）は統合型サービングと比較して1.78倍から2.64倍へと拡大することが確認された。

効果的な適用環境と適用が推奨されないケース

NVIDIAは、EPD分離の効果はワークロードの性質に大きく依存すると説明している。

高い効果が得られるケース:

  • 入力に含まれる画像や動画の点数が多いリクエスト
  • 出力シーケンス長が短〜中程度のリクエスト
  • 重みが量子化されたMoE（Mixture-of-Experts：複数エキスパートを切り替えるモデル構造）モデル

効果が限定的または推奨されないケース:

  • 出力トークン数が非常に長く、全体のレイテンシの大部分をDecode処理が占めるワークロード
  • 大規模な密結合（Dense）モデルのように、全体の計算量に対してビジョンエンコーダの負荷割合が極めて小さい環境

提供される関連最適化機能

Dynamoでは、EPD分離を再現するための実験ガイドを公開しているほか、さらなる効率化機能として以下を挙げている。

  • 並列メディアデコード: メディアのダウンロードとデコード処理をワーカーからDynamoのフロントエンドへオフロードする機能。
  • 埋め込みキャッシュ（Embedding Cache）: 繰り返し送信されるメディアの計算済み埋め込みを保存・再利用する仕組み。
  • マルチモーダルKVルーティング: 同一のメディアを含むリクエストを、該当するキャッシュ（KVブロック）を既に保持しているワーカーへ優先的に振り分けるルーティング機能。
元URL