NVIDIA、「Nemotron 3 Ultra NIM」で推論性能2.5倍を達成　B200×4基で毎秒約2000トークンを記録

要点

• NVIDIAは2026年9月10日、大規模言語モデル「Nemotron 3 Ultra」向け推論マイクロサービス「NIM」の最適化により、システムスループットが最大2.5倍に向上したと発表した。

• NVIDIA B200 GPUを4基搭載したシステムにおいて、最適化なしの718トークン/秒に対し、最適化済みの「NIM 2.0.12」では1,997トークン/秒を記録した。

• 高速化は、自動調整カーネル、キャッシュおよび状態の再利用、MTP投機的デコーディング、スケジューラやメモリのチューニングなどを統合したフルスタック最適化によって実現された。

• エンタープライズ向けの「NIM Certified」では、定期的なスタック更新、脆弱性対応、NVIDIA AI Enterpriseを通じた商用サポートが提供される。

• 米NVIDIAは2026年9月10日（現地時間）、同社の大規模言語モデル向け推論マイクロサービス「Nemotron 3 Ultra NIM」において、推論スタックの最適化により処理スループットを最大2.5倍に引き上げたと技術ブログで発表した。検証では最新の「NVIDIA B200」GPUを4基用いたシステムが使用され、一定の応答性を維持したまま同時に対応可能なユーザー数を大幅に増やせる実証データが示された。同社は、モデルとGPUの特性を考慮したフルスタックの最適化を施すことで、実運用における高い処理能力と本番導入の容易さを両立できると説明している。

4基のB200環境で最大2.5倍のスループット向上を実証

大規模言語モデル（LLM）の実運用においては、GPUインフラの処理能力を最大限に引き出しつつ、ユーザーが体感する応答速度（インタラクティビティ）を維持することが求められる。特に自律的に推論と行動を繰り返すエージェント型AIのワークロードでは、プロンプトが長大化しやすく、過去の文脈（コンテキスト）を複数のステップにわたって再利用する傾向があるほか、ユーザーへ長文をストリーミング返答するケースが増えるため、処理効率の最適化が極めて重要になるという。

NVIDIAが公開したベンチマークでは、ハードウェアとして「NVIDIA B200」を4基搭載したシステムを採用し、エージェント型AIを想定したシナリオ（入力64Kトークン、出力400トークン、KVキャッシュ再利用率76%）で性能を測定した。KVキャッシュとは、過去の計算結果を保持して再計算を省く仕組みのことである。

ユーザーあたりの応答性目標として50 TPS（Tokens Per Second：1秒あたりに処理されるトークン数、トークン間遅延であるITL＝20ミリ秒相当）を設定した場合、NIMによる最適化を行わないオープンソースのベースライン構成では、システム全体の出力トークンスループットが毎秒718トークンにとどまった。これに対し、最新の最適化を適用した「NIM 2.0.12」構成では毎秒1,997トークンに達し、約2.5倍の性能差を記録したという。パレート曲線を用いた分析でも、NIMを適用した構成はあらゆる応答性領域においてベースラインを上回るスループットを維持できることが確認されている。

多層にわたる最適化を統合した「NIM 2.0.12」スタック

NVIDIAは、推論性能の向上は単一の要素ではなくシステム全体の相互作用によって決まると説明している。計算精度やGPUカーネル、並列化手法、スケジューリング、バッチ処理、メモリ割り当て、プレフィックス（接頭辞）の再利用、モデル固有の状態キャッシュ、デコーディング戦略など、多岐にわたるレイヤーが複雑に絡み合うため、応答遅延の目標範囲内でスループットを最大化する統合的な調整が必要になる。

今回の「NIM 2.0.12」では、これらの要素を包括したフルスタックの最適化が施された。実装された主な技術は以下の通りである。

• 自動調整カーネル（Autotuned Kernels）: GPUアーキテクチャに合わせて演算処理を最適化する。
• テンソル並列処理（Tensor Parallelism）: 複数GPU間でモデルのテンソル演算を分散処理する。
• キャッシュと状態の再利用（Prefix and State Reuse）: 過去の入力プレフィックスやモデル状態を効率的に再利用し、重複する計算を削減する（部分プレフィックス一致を含む）。
• スケジューラ・バッチ・メモリのチューニング: リクエストのスケジューリング、動的なバッチ処理、GPUメモリ管理の最適化を行う。
• MTP投機的デコーディング（Multi-Token Prediction Speculative Decoding）: 複数のトークン候補を先回りして予測生成・検証することでデコード処理を加速する手法およびその関連修正。

これらの最適化により、ネイティブで最大256Kトークンのコンテキスト長をサポートしながら、高いスループットと低遅延を同時に達成したとしている。

標準APIでのコンテナ提供と商用環境向けのサポート

NIM（NVIDIA Inference Microservice）は、モデルとGPUの組み合わせごとに検証済みの設定をパッケージ化し、標準的なAPIを通じて展開可能なマイクロサービスとして提供される。これにより、利用者はランタイムの複雑なパラメーターを一から手動でチューニングすることなく、検証済みの構成をそのまま利用できる。

また、商用運用を想定した「NIM Certified」では、推論スタックの定期的なアップデートやCVE（共通脆弱性識別子：セキュリティ上の脆弱性を管理する標準規格）への対応、多様なハードウェア環境での動作検証が提供されるほか、「NVIDIA AI Enterprise」を通じた商用サポートが付属する。

さらに、開発者が自社の実トラフィックに合わせて性能を評価できるよう、負荷生成ツール「NVIDIA AIPerf」を用いてワークロードを再現し、自社のレイテンシSLO（サービスレベル目標：サービス品質の目標値）に応じた最適な動作ポイント（パレート点）を選択することが可能となっている。

現在、「Nemotron 3 Ultra NIM」はNVIDIAのコンテナレジストリ「NGC」からダウンロードして自社のGPUインフラへデプロイできるほか、ローカル環境を構築せずに即座に検証可能なホスト型APIも提供されている。