AWS、推論エンジン「vLLM」にプッシュ型KV転送を導入　P-D分離環境でTTFT最大3倍の高速化

要点

• 米Amazon Web Services（AWS）は、LLM推論エンジン「vLLM」のPrefill・Decode分離構成に向けた「プッシュ型」KVキャッシュ転送機能を発表した。
• 従来のプル型転送で発生していたルーター中継や受信側メモリ割り当てなどの直列処理を排し、転送準備をクリティカルパスから除外した。
• EC2 P5enインスタンスとQwen3-32Bを用いた検証で、従来のプル型と比較してTTFTが最大3倍、TPOTが最大30％改善した。
• 当初はAWS Trainium環境で開発・検証されたが、アクセラレータに依存しない汎用機能としてvLLM本体へ寄贈された。

リード文

米Amazon Web Services（AWS）は2026年10月19日、大規模言語モデル（LLM）向け推論エンジン「vLLM」において、プッシュ型のキー・バリュー（KV）キャッシュ転送方式を導入したと公式技術ブログで発表した。プロンプト処理とトークン生成を別インスタンスで実行する分離構成において、初回トークン生成時間（TTFT）とトークン生成時間（TPOT）を大幅に短縮する仕組みだという。AWSが開発を主導した本機能は、自社の機械学習特化チップ環境で検証された後、GPU環境でも性能向上が確認され、オープンソースとしてコミュニティへ還元されている。

背景：LLM推論の2段階処理と「P-D分離」

LLMの推論処理には、入力プロンプトを処理してキャッシュを構築する「Prefill（プレフィル）」と、そのキャッシュを用いて1トークンずつ逐次生成する「Decode（デコード）」という2つのフェーズが存在する。これら2つのフェーズは計算負荷やメモリ消費の傾向、効果的なスケーリングの手法が大きく異なっている。

この特性の違いに対応するため、vLLMではPrefillとDecodeを別々の独立したエンジンインスタンスで実行する「Prefill-Decode（P-D）分離」というアーキテクチャが採用されている。各フェーズを独立してスケールおよび最適化できるため、高負荷時におけるリソース利用効率やスループットの向上、遅延の抑制に寄与する。

ただしP-D分離構成では、トークン生成を開始する前にPrefill側で作成されたKVキャッシュをDecode側へネットワーク経由で転送する必要がある。そのため、KVキャッシュ転送の効率が、ユーザーが入力してから最初の1トークン目が出力されるまでの待ち時間（TTFT: Time to First Token）を左右する決定的な要因となっていた。

従来の「プル型」転送が抱えていた直列処理の課題

vLLMでは、ネットワークカードを介して相手側メモリに直接アクセスするRDMA（リモート・ダイレクト・メモリー・アクセス）を活用し、NVIDIA Inference Xfer Library（NIXL）コネクタを通じてKVブロックの高速転送を行っている。AWS環境においては、低レイテンシRDMAネットワークである「AWS Elastic Fabric Adapter（EFA）」を介することで、GPUDirect RDMAやNeuron Direct RDMAが利用可能だ。これにより、ホスト側のCPUメモリを経由することなく、GPU間またはAWSの機械学習アクセラレータ「AWS Trainium」のデバイスメモリ間で直接データを転送できる。

しかし、従来のNIXLコネクタで標準となっていた「プル型（Pull-based）」転送には、処理が直列に滞留しやすい構造的な課題が存在していた。プル型では、まずPrefillインスタンスがプロンプトの計算を終えた後、ルーターがPrefill側のブロックIDを含む転送元のメタデータをDecodeインスタンスへと中継する。Decodeインスタンスはその情報を受け取って初めて受け入れ先のメモリブロックを割り当て、転送のセットアップを行い、Prefillインスタンスからデータを読み出す「NIXL READ」処理を発行していた。

このように、ルーターによる情報中継、受信側でのメモリ確保、そして実際のデータ読み出しという一連の協調・準備手順が、Prefill完了後かつDecode開始前のタイミングで連続して直列（シリアル）に実行されていた。その結果、これらすべての処理が初回トークン生成へのクリティカルパス上に乗り、TTFTを長期化させる要因となっていたという。

クリティカルパスから準備処理を外す「プッシュ型」の導入

今回AWSが発表した「プッシュ型（Push-based）」NIXLコネクタは、Prefill完了後に行われていた転送の協調動作やセットアップ処理を、初回トークン生成のクリティカルパスから完全に分離するアプローチを採用している。

データを受信側が要求してから取りに行くのではなく、送信側から能動的に送り出す設計に切り替えることで、Decode側での待ち時間を排除した。このプッシュ型の導入により、特にリクエストが頻繁に到達する高負荷環境下において、TTFTだけでなく出力トークン1個あたりの生成時間（TPOT: Time Per Output Token）も短縮され、推論アプリケーション全体の応答性が向上すると説明されている。

ベンチマーク検証：TTFT最大3倍、TPOT最大30％改善

AWSは、EFAで相互接続されたAmazon EC2 P5enインスタンス（NVIDIA製GPUを搭載したインスタンス）を用いた「1P1D（Prefill担当1台、Decode担当1台）」構成で性能を検証した。

モデルに「Qwen3-32B」を採用してテストを行ったところ、プッシュ型はプル型と比較してTTFTが最大3倍改善し、TPOTにおいても最大30％の改善を記録したという。なお、これらの具体的な短縮幅は実行するワークロードの特性や環境設定によって変動するとしている。

Trainiumでの先行開発からオープンソースコミュニティへの貢献へ

本機能は、まずEFAで接続されたAWS独自の機械学習アクセラレータ「AWS Trainium」インスタンスクラスタ上で設計および検証が進められた。その後、特定のハードウェアに依存しない「アクセラレータ・アグノスティック」な機能として、オープンソースのvLLMプロジェクト本体へとコントリビュートされたという。

今回示されたEC2 P5en（GPU）クラスタでの検証結果は、Trainiumクラスタで実証された性能メリットがGPU環境においても同等に発揮されることを証明する形となっており、ハードウェアを問わず推論処理の効率化に寄与することが示されている。