NVIDIA、推論アクセラレータ「Groq 3 LPX」のベンチマーク結果を公表　10万トークンの長文処理で毎秒3,431トークンを達成

要点

• NVIDIAは、AI推論アクセラレータ「NVIDIA Groq 3 LPX」と「Vera Rubin NVL72」を組み合わせたシステムの第三者ベンチマーク結果を公開した。

• 第三者機関Artificial Analysisの100Kコンテキストベンチマーク（Gemma 4 31B）において、毎秒3,431出力トークンの推論速度を記録した。

• 決定論的コンパイラによる処理計画やチップ間通信の最適化により、極小バッチサイズ時でもテンソル並列処理のオーバーヘッドを抑制している。

• 汎用エージェントやコーディングタスクを対象としたSPEED-Benchにおいて、中央値で毎秒4,767出力トークンの性能を確認した。

• プリフィルとデコードの分離など複数の協調構成をサポートし、2兆パラメータ以上の超大規模モデルを対象とした高速対話推論に対応する。

• NVIDIAは2026年8月24日、同社の公式技術ブログにおいて、AIインフラ基盤「NVIDIA Vera Rubin」プラットフォーム向けの低遅延推論アクセラレータ「NVIDIA Groq 3 LPX」に関するベンチマーク結果を公開した。第三者評価機関であるArtificial Analysisが実施した検証において、10万トークン（100K）の長大な文脈を扱った状態で毎秒3,431出力トークンという高速な応答性能を記録したことが明らかになった。同社は、自律型AIエージェントの普及に伴って要求が高まる「長文コンテキストの保持」と「高速な対話応答性」を両立するハードウェア構成として、本システムの有用性を説明している。

10万トークンの長文環境で毎秒3,400超のトークン出力を実証

公開された技術ブログによると、今回の検証は第三者ベンチマーク機関であるArtificial Analysisによって実施された。テストではオープンモデル「Gemma 4 31B」を用い、10万トークンの入力コンテキスト（AIが一度に把握・処理できる文脈の量）を与えた状態での推論性能が測定された。その結果、Groq 3 LPXシステムは精度やモデル品質を損なうことなく、毎秒3,431出力トークンの処理速度を達成したという。

また、一般的なエージェントタスクやコーディングタスクを網羅するベンチマーク「SPEED-Bench」においても検証が行われており、出力スループットの中央値として毎秒4,767トークンを記録したと報告されている。ブログ記事では、Groq 3 LPXが広範なタスクにおいて一貫して高いスループットを発揮できる点が強調されている。

エージェントの多段階対話に伴う「長文コンテキスト」の課題

NVIDIAは、高い対話応答性と長文コンテキストの両立が重要視される背景として、自律型AIエージェントの普及を挙げている。エージェントが複雑な作業を行う際は、複数回にわたるやり取り（マルチターン推論）が発生し、ターンごとに生成された出力が次のターンへの入力コンテキストとして順次追加されていく。

この蓄積により、数百ステップを超えるような長期セッションでは、コンテキスト長が数十万トークン（提示されたデータでは50万トークン近く）にまで増大する。十分なコンテキスト長を処理できない場合、エージェントは過去の履歴のごく一部しか考慮できなくなり、能力が大幅に制限されてしまう。そのため、実用的なエージェント運用には、セッションが進行して入力データが肥大化しても推論速度を維持できるシステムが不可欠であると説明されている。

小バッチ時の通信オーバーヘッドを抑える独自アーキテクチャ

一方で、10万トークン規模の入力に対するKVキャッシュ（過去に計算したKeyとValueの内部状態を保持して再計算を防ぐデータ）を管理しつつ、ユーザーあたり毎秒3,000トークン以上の超高速応答を実現することは、システム設計上の大きな課題だとされている。

高い対話性を実現するには、1回に処理するデータ単位であるバッチサイズを極めて小さくする必要がある。しかし、モデルの計算を複数チップに分割して並列実行する「テンソル並列処理（TP）」を極小バッチサイズで適用すると、チップ間で小さなデータを頻繁に送受信・同期する通信オーバーヘッドが増大し、並列化による処理時間短縮の恩恵を打ち消してしまうという問題が存在していた。

この課題に対し、Groq 3 LPXでは以下の技術を採用して対策を講じているという。

• 決定論的コンパイラによるワークロード計画（処理順序をコンパイラ側で厳密に事前決定する仕組み）
• 計算処理とチップ間通信のきめ細かなオーバーラップ実行
• 事前に最適化されたチップ間ネットワーキングによる、データ転送開始時の遅延（ファーストビットレイテンシ）の最小化

これらの工夫により、小さなバッチサイズであってもテンソル並列処理を効率的に機能させることが可能になったとしている。

Vera Rubin NVL72との協調実行により2兆パラメータ超へ拡張

Groq 3 LPXは単体での動作にとどまらず、Vera Rubinプラットフォームの中核をなすラックスケールシステム「NVIDIA Vera Rubin NVL72」と組み合わせることで真価を発揮するよう設計されている。両者を組み合わせることで、以下のような柔軟な協調実行構成をサポートするという。

• プリフィル・デコード分離：入力プロンプトを一括処理する「プリフィル」と、トークンを1つずつ逐次生成する「デコード」を異なるコンピュート資源に分散する構成
• Attention-FFN分離：Transformerの注意機構（Attention）と順伝播ネットワーク（FFN）の処理をそれぞれ最適なハードウェアに分担させる構成
• 投機的外部ドラフターデコーディング：外部の軽量モデルで先行して出力候補を生成し、本体モデルで検証を行うことで生成を高速化する構成

同社は、これらの協調構成を活用することで、2兆（2T）以上のパラメータを持つ超巨大モデルを用いたマルチエージェントシステムに対しても、長文コンテキストと高速な対話応答性を提供できるとしている。