AWS、SageMaker HyperPodでLLM推論の「プリフィル」と「デコード」を分離する新手法を公開

要点

• LLM推論の入力処理と出力生成を別々のGPUプールで実行する「分離型プリフィル/デコード（DPD）」が公開された。

• 高速ネットワーク技術のEFAとRDMAによるKVキャッシュ転送で、長文入力による他リクエストの処理一時停止を解消する。

• 4,096トークンを超える長文、高並行ストリーミング、大規模RAGなどのワークロードで高い遅延削減効果を発揮する。

• 短いプロンプトはルーターが自動判定してデコードノードへ直接転送するため、長短の混合トラフィックに自動で対応できる。

• SageMaker HyperPod上で、vLLMやLMCacheなどのコンポーネントを組み合わせた構成として実装される。

• Amazon Web Services（AWS）は2026年7月10日、同社公式機械学習ブログにて、大規模言語モデル（LLM）の推論効率を向上させる新たな手法「分離型プリフィル/デコード（DPD）」を、クラスタ管理サービス「Amazon SageMaker HyperPod」上に実装する手法を発表した。この技術は、LLMの処理ステップを別々のGPUノードに分担させることで、長文の入力によって他の処理が一時停止してしまう問題を解消するものである。

• LLMの推論処理には、技術的な特徴が根本的に異なる2つのフェーズが存在する。1つ目は、入力プロンプト全体を並列処理して「KVキャッシュ」（過去に処理したトークンの計算結果を保持するデータ）を生成する「プリフィル」フェーズだ。この段階はプロンプト長に比例して計算量が膨らむため、演算性能に依存する「計算バウンド」な処理となる。2つ目は、キャッシュとモデルの重みを参照し、トークンを1つずつ順番に出力する「デコード」フェーズだ。こちらはデータの読み出し速度に依存する「メモリバウンド」な処理である。

• 従来の同一GPUを共有する構成では、長いプロンプトが入力されるとプリフィル処理がGPUを占有してしまい、並行する他リクエストのデコード処理がすべて一時停止して、トークン出力の遅延（ITL: Inter-Token Latency）が急増する課題があった。

• 今回発表されたDPDは、EFA（Elastic Fabric Adapter: AWSが提供する低レイテンシのネットワークインターフェース）およびRDMA（Remote Direct Memory Access: CPUを介さずにメモリ間で高速にデータを転送する技術）で相互に接続された、独立したGPUプールにプリフィル処理とデコード処理をそれぞれ分離して配置することで、このリソース競合を構造的に排除する。

• これにより、開発者はそれぞれのフェーズに対して異なる並列化戦略を個別に適用することが可能になる。最初のトークンが出力されるまでの時間（TTFT: Time to First Token）と、トークン間の出力遅延（ITL）をそれぞれ独立してチューニングできるようになるほか、従来の「チャンク化されたプリフィル」の調整と比較して、テールレイテンシ（最悪値に近い遅延）をより高い信頼性で制御することが可能になるという。

• 本手法は、入力プロンプトが定期的に4,096トークンを超える場合や、複数ユーザーの同時リクエスト、ストリーミング応答、長短トラフィックの混在といった長文・高並行なワークロードで効果を発揮する。チャットアシスタントやAIエージェント、文書解析、大規模なRAG（検索拡張生成：外部データから得た情報を付加して回答する手法）などが好例だ。

• 一方で、低並行度の環境や短いプロンプトのみを扱う場合は、ネットワークを介したデータ転送負荷が分離のメリットを上回るため、従来の共同配置構成が適している。

• HyperPodでのDPD実装は、LLMサービングエンジン「vLLM」のルーター機能をベースにしており、キャッシュ転送には「LMCache」を使用する。システムはインテリジェントルーター、プリフィルノード、デコードノード、転送用トランスポートスタックで構成される。ルーターはリクエスト長を自動判定し、短いリクエストは直接デコードへ送信するため、手動の振り分けは不要だ。

• 動作要件として、システムを構成するには最低でも1台ずつのプリフィルノードと、RDMA対応EFAネットワークを備えたデコードノードが必要となる。AWSは、「HyperPod Inference Operator」を用いた具体的なデプロイ手順を公開している。