AWS、SageMaker Inferenceで「プレフィックス対応ルーティング」を提供開始　LLMの初回トークン遅延を最大77％削減

要点

• AWSはAmazon SageMaker Inferenceにおいて、LLMプロンプトの先頭部分を識別して同一インスタンスへ振り分ける「プレフィックス対応ルーティング」を発表した。

• 複数インスタンス環境で課題となっていたKVキャッシュの分散を解消し、同一プレフィックスを持つリクエストのキャッシュ再利用率を高める。

• Llama 3.1 70Bを用いた検証では、P50の初回トークン生成時間（TTFT）が最大77%削減され、スループットは最大16%向上した。

• KVキャッシュヒット率は従来の約25%から80%超に改善し、過負荷保護やスケーリング時のキャッシュ維持機能も備える。

• Amazon Web Services（AWS）は2026年9月10日、機械学習モデルのデプロイ・運用基盤である「Amazon SageMaker Inference」において、大規模言語モデル（LLM）の応答遅延を低減する新機能「プレフィックス対応ルーティング（prefix-aware routing）」の提供を開始したと発表した。

• 本機能は、プロンプトの共通する先頭部分（プレフィックス）をエンドポイント側で自動判定し、同一の推論インスタンスへリクエストを一貫して送信するルーティング戦略だという。同社が実施したベンチマークテストでは、初回トークン生成までの時間（TTFT：Time to First Token）が最大77%削減されるなど、大幅な性能向上が確認されたとしている。

複数インスタンス環境における「プレフィックスキャッシュ」の課題

LLMを活用したアプリケーションでは、入力プロンプトが「固定部分（システム指示や参照コンテキスト、会話履歴）」と「可変部分（ユーザーの入力内容）」の2つで構成されるケースが多い。例えば、カスタマーサポートのチャットボットでは、冒頭に3,000トークン規模の共通指示文や利用規約が配置され、末尾に数十トークンのユーザーからの質問が続くといった構造が一般的である。

こうしたプロンプトに対し、vLLMやTensorRT-LLMといった近年のLLMサービングフレームワークは、計算済みのKey-Value（KV）ペアを保存して再利用する「プレフィックスキャッシング（prefix caching）」機能を備えている。これにより、共通部分の再計算を省略して初回トークン生成にかかる時間を短縮できる。

しかし、推論エンドポイントの配下に複数のインスタンスを配置してスケールアウトした場合、従来のリクエスト振り分け（ランダムルーティングなど）では、同じプレフィックスを持つリクエストが各マシンへまばらに分散してしまう問題があった。結果として、各インスタンスでキャッシュが十分に蓄積されず、リクエストごとにゼロから計算が行われるため、プレフィックスキャッシングの恩恵が薄れてしまっていたという。

リクエスト内容に応じた自動ルーティングと2つの安全機能

今回導入された「プレフィックス対応ルーティング」は、エンドポイントに届いたリクエストのペイロード冒頭を解析し、同じプレフィックスを持つリクエストを自動的に特定のインスタンスへ集約する。これにより、対象インスタンス上でKVキャッシュが安定して保持・再利用される仕組みとなっている。開発者が手動でリクエストにタグを付与したり、ルーティングの割り当てルール（アフィニティ）を管理したりする必要はないと説明されている。

また、実運用における安定性を確保するため、以下の2つの保護機構が組み込まれているという。

• 過負荷保護（Overload protection）：特定のプレフィックスに対するアクセスが急増し、割り当て先インスタンスの処理能力上限（設定した同時実行数制限）に達した場合、自動的に負荷の低い別のインスタンスへリクエストを迂回させる。一時的にキャッシュヒットを逃す可能性はあるものの、特定インスタンスへの負荷集中によるシステム障害を防ぐ。
• スケーリング時の安定動作（Stable behavior during scaling）：トラフィック増減に伴ってインスタンスを追加・削除した際も、大半のリクエストは従来と同じインスタンスへ継続してルーティングされる。フリート構成の変更に伴うトラフィック移動を最小限に抑えることで、スケーリングのたびにキャッシュ全体が無効化される事態を回避する。

ベンチマーク：TTFTが最大77％短縮、キャッシュヒット率は80％超を記録

AWSが公開したベンチマーク結果によると、7台の ml.p5.48xlarge インスタンス上でvLLM（プレフィックスキャッシング有効）と「Llama 3.1 70B Instruct」を用いて検証が行われた。従来の標準的なランダムルーティングと比較した結果、以下の成果が確認されたという。

• 初回トークン生成時間（P50 TTFT）：最大77%削減
• スループット：最大16%向上
• KVキャッシュヒット率：従来の約25%から80%超へ改善

このテストは、単一モデルエンドポイントや推論コンポーネントエンドポイント、AWSネイティブのInvoke API、OpenAI互換APIなどを含む計16通りの構成パターンで実施されたとしている。

補足

本機能は、長大なシステムプロンプトや共有コンテキストを頻繁に利用するLLMアプリケーションを、複数インスタンスで分散処理する環境における推論効率の最適化を支援するものとして位置づけられている。