NVIDIA、生成推薦モデル「HSTU」向け推論ワークフローを公開　Dynamo-TritonとKVキャッシュで最大5.9倍高速化

要点

• 米NVIDIAは、生成推薦モデル「HSTU」を低遅延で本番配信するためのエンドツーエンド推論ワークフローを公開した。

• 「NVIDIA Dynamo-Triton」（旧Triton Inference Server）とPyTorch AOTIを組み合わせ、別ランタイム向けに書き直すことなくC++アーティファクトとして配信できる。

• 「FlexKV」を活用したGPU KVキャッシュにより、長いユーザー行動履歴に対するアテンション計算の重複を削減した。

• Blackwell世代のワークステーションGPUを用いた検証では、キャッシュ適用時に8層モデルで最大5.93倍の推論遅延削減を達成した。

• 米NVIDIAは2026年9月30日、生成推薦システム向けの深層学習モデル「HSTU（Hierarchical Sequential Transduction Unit）」を高速に本番稼働させるためのエンドツーエンド推論ワークフローを公開した。同社の公式リポジトリ「recsys-examples」を通じて提供されており、推論基盤「NVIDIA Dynamo-Triton」やPyTorchの事前コンパイル機能を統合している。最新のBlackwell世代GPUを用いたベンチマークでは、推論遅延を最大5.93倍削減できたことが明らかにされた。

行動履歴全体を一括処理する生成推薦システムとHSTU

従来の深層学習に基づく推薦システムでは、候補となるアイテムの絞り込み（検索）、並び替え（ランキング）、スコア予測といった処理が、個別の専用モデルや特徴量パイプラインに分割されて構築されることが多かった。これに対し、近年注目を集めている生成推薦システム（Generative Recommender＝GR）は、パーソナライゼーションを一連のユーザー行動に対するシーケンス（時系列）モデリングとして再構成するアプローチをとる。

この手法では、ユーザー側の情報を示すコンテキストトークン、推薦対象のアイテムトークン、それらのアイテムに対する閲覧やクリックなどの相互作用を表すアクショントークンといった一連のイベントストリームから、モデルが次に適したアイテムを直接生成またはスコアリングする。

HSTUは、こうした高カーディナリティ（取り得る値の種類が非常に多い性質）かつ変動の激しいイベントストリームを扱うために導入されたシーケンス対応アーキテクチャである。コンテキストや履歴、候補アイテムを単一の構造で柔軟に評価できる利点を持つ一方で、ユーザー履歴の長期化や埋め込みテーブルの肥大化、シーケンス処理の重さにより、実運用で求められる低遅延推論を実現することが大きな課題となっていた。

AOTIとDynamo-TritonによるC++配信パイプライン

今回NVIDIAが公開したワークフローは、PyTorchによるモデル開発から本番環境での低遅延推論までをシームレスにつなぐ構成となっている。パイプラインの中核には、PyTorch AOTI（Ahead-of-Time Inductor：モデルを事前にネイティブC++アーティファクトへコンパイルする機能）が採用された。

通常、研究開発用のPyTorchモデルを本番向けに高速化する際は、別の専用推論ランタイム向けにモデル定義を書き直す作業が必要になるケースがあった。今回の手法では、PyTorch上で構築されたHSTUランキングモデルをAOTIによってネイティブC++アーティファクトへと直接事前コンパイルできるため、モデルの再実装を行わずに「NVIDIA Dynamo-Triton」（従来の「NVIDIA Triton Inference Server」の新たな名称）へデプロイして配信できるという。

ワークフローには、PythonおよびネイティブC++の双方でエクスポート済みパッケージを検証する仕組みや、大規模な埋め込みテーブルを効率的に扱うための「NV embedding cache」なども統合されている。

FlexKVによるGPU KVキャッシュと遅延短縮の実証

推論時における最大のボトルネックの一つである「長いユーザー履歴の再計算」を回避するため、本ワークフローにはオープンソースの「FlexKV」を活用したKVキャッシュ（Key-Value Cache：アテンション機構で過去に計算した中間状態を保持して再利用する仕組み）が組み込まれた。

これにより、ユーザーが過去に閲覧・行動した履歴のアテンション状態がGPUメモリ上に再利用可能な形で保持される。新規リクエストが届いた際にも、過去の全履歴を最初から再計算する必要がなくなり、計算負荷を大幅に抑えられる仕組みとなっている。

NVIDIAが公開したベンチマーク結果によると、ワークステーション向けGPU「NVIDIA RTX PRO 6000 Blackwell Workstation Edition」を用い、動的バッチサイズ8（複数の推論リクエストを束ねて処理する単位）で測定したところ、KVキャッシュを適用しない同一のAOTI構成と比較して明確な高速化が確認された。GPU上のKVキャッシュヒット率が100%の条件において、3層のHSTUモデルでは最大4.47倍、より深い8層のHSTUモデルでは最大5.93倍の推論遅延短縮を記録したと報告されている。

補足

本ワークフローの再現コードや設定ガイド、モデル規模ごとの詳細なベンチマークデータは、NVIDIAのGitHubリポジトリ「recsys-examples」および公式ドキュメントを通じて公開されている。