NVIDIA、エージェント型AI推論における次世代GPU「Vera Rubin」「Blackwell」の電力効率ベンチマークを公表

要点

• NVIDIAは公式技術ブログにて、実運用環境のエージェント型AIを模した推論ベンチマーク「SemiAnalysis AgentX」の測定結果を公表した。

• 次世代システム「Vera Rubin NVL72」は、メガワットあたりの処理スループットにおいて「GB300 NVL72」の最大30倍を記録した。

• 「GB300 NVL72」も旧世代「H200 NVL8」に対し、大規模MoEモデル「Kimi K3 2.8T」の実行時にメガワットあたり最大80倍の性能向上を示した。

• 従来の固定長テストから実際のコーディングエージェントセッションを忠実に再現する測定へ移行し、実効的な電力効率が評価された。

• ラックスケール接続の「NVLink」や「MXFP4/MXFP8」などの混合精度フォーマット、最適化ランタイムの連携が高い電力効率に寄与している。

• NVIDIAは2026年8月24日、同社の公式技術ブログにおいて、エージェント型AI（自律的に思考や外部ツールの呼び出しを連続して行うAI）の推論処理における次世代プラットフォーム「Vera Rubin NVL72」および「Blackwell GB300 NVL72」の性能評価結果を公開した。SemiAnalysisが策定したオープンソースベンチマーク「AgentX」を用いた測定により、消費電力あたりの推論スループットが飛躍的に向上していることが示された。

エージェント型AIの普及に伴う推論負荷の急拡大

AIの利用形態は、従来の単一プロンプトに対する1問1答形式から、モデル自身が思考し、ツールを呼び出し、サブエージェントと協調しながらコンテキストを蓄積していく複数ステップのワークロードへと急速に変化している。

この変化はデータセンターにおけるトークン消費量にも顕著に現れている。ルーターサービスを展開するOpenRouterが100兆トークンの実利用データを分析した「State of AI」レポートによると、リクエストあたりの平均プロンプトトークン数は約4倍に拡大した。さらに、単一のエージェント型リクエストは、従来の一般的なチャットと比較して約15倍のトークンを消費することが明らかになっている。

こうしたワークロードでは、長い入力文脈を一括処理する長文脈プリフィル（プロンプトを事前に読み込んで内部状態を計算する処理フェーズ）や、計算結果を保持して再利用するKVキャッシュ（キー・バリューキャッシュ）、ツール呼び出しに伴う待機時間、動的な同時実行への対応が求められる。そのため、データセンターの供給電力（メガワット）をどれだけ効率的に実効スループットへ変換できるかが新たな評価軸となっていた。

実環境のセッションを忠実に再現するベンチマーク「AgentX」

このような実運用のトラフィック特性を正確に評価するため、SemiAnalysisが開発する推論ベンチマークスイート「InferenceX」において、新たに「AgentX」が導入された。

AgentXは、コーディング支援エージェント「Claude Code」などの実際のセッション記録を再生し、推論ステップとツール実行が交互に発生する複雑なワークロードを再現して推論性能を測定する。これまでのInferenceXでは、入力8Kトークン・出力1Kトークンのような固定長シーケンスを用いた静的テスト（例えば「DeepSeek-R1-0528」を用いたテスト）が行われていた。その固定長環境下でもGB300 NVL72は前世代のH200に対してメガワットあたり最大40倍のトークン処理量を記録していたが、実際のプロダクション環境のトラフィックを反映しきれないことから、固定長テストはベンチマークスイート内で「メンテナンスモード」へと位置づけが変更された。

AgentXでは、要求長がターンごとに変動し、コンテキストが蓄積され、ツールの実行によって処理が中断されるといった動的な条件下で、ハードウェアとソフトウェアが応答性を維持しつつ電力をどれだけ有効に活用できるかが検証される。

Vera RubinとGB300が示した電力あたり処理能力の飛躍

公表されたAgentXの測定結果において、次世代アーキテクチャを採用した「NVIDIA Vera Rubin NVL72」のプレビュー結果は、Blackwell世代の「GB300 NVL72」と比較してメガワットあたり最大30倍のAIファクトリースループットを達成したことが示された。

また、Blackwell世代の「GB300 NVL72」自体も、Hopper世代の「H200 NVL8」に対して大幅な世代間アドバンテージを維持している。「Kimi K3 2.8T」のような大規模なMoE（Mixture of Experts：処理に応じてモデル内の一部の専門層を選択的に起動する構造）モデルを対象とした評価では、GB300 NVL72がH200 NVL8に対してメガワットあたり最大80倍の性能向上を記録したという。

システム全体にわたるハードウェア・ソフトウェアの協調最適化

NVIDIAは、これらの効率向上が単一のチップ性能だけでなく、システム全体にわたる多層的な最適化によって実現されたものであると説明している。

具体的には、以下の要素が統合されている：

• ラックスケール接続: 72基のGPUを高帯域幅で直接結ぶ「NVIDIA NVLink」（GPU間を高速接続するインターコネクト技術）により、ラック全体で協調した大規模推論を実行。
• データフォーマット: 高効率な計算を可能にする低精度フォーマット「MXFP4」および「MXFP8」の採用。
• 演算カーネル: 「DeepGEMM」をベースとした高効率な行列積演算カーネルの導入。
• サービングスタック: セッションの状態を認識して適切にリクエストを管理する「NVIDIA Dynamo」スタック。
• ランタイムエンジン: 「SGLang」「TensorRT-LLM」「vLLM」などのMoE向けサービングランタイムの活用。

これらのハードウェアファブリックとソフトウェアスタックの連携により、大規模なコンテキスト保持と不規則な推論要求が連続するエージェント型ワークロードにおいても、高い電力効率とスループットの両立が可能になったとしている。