NVIDIA、LLM推論ベンチマークツール「AIPerf」を公開　マルチプロセス構成で高負荷時の測定限界を解消

要点

• NVIDIAは2026年9月18日、大規模言語モデル（LLM）の推論性能を高精度に測定できる新ツール「AIPerf」を発表した。

• 従来の「GenAI-Perf」をゼロから再設計し、マルチプロセスとZeroMQを採用することでクライアント側の性能ボトルネックを解消した。

• チャットや画像生成など15種類以上のエンドポイント形式に加え、ShareGPTなどの実トレース再生に対応する。

• 到着パターンの確率分布制御や、TTFT・トークン間遅延のパーセンタイル集計、GPU稼働状況の同時取得をサポートする。

• 米NVIDIAは現地時間2026年9月18日、大規模言語モデル（LLM）をはじめとするAIモデルの推論サーバーを評価するための新しい負荷生成・ベンチマークツール「AIPerf」を発表した。従来の公式測定ツール「GenAI-Perf」の後継として設計を全面的に見直し、高い負荷がかかる環境下でもクライアント側の処理限界に縛られず、サーバー本来の性能を正確に測定できるように開発されたという。ソースコードや関連ドキュメントはGitHub上で公開されている。

クライアント側の負荷限界を排除するマルチプロセス設計

LLMの推論環境を検証する際、手作りのスクリプトや従来の負荷生成ツールでは、PythonのGIL（グローバルインタプリタロック：同時に1つのスレッドしかコードを実行できない仕組み）や単一プロセス構成に起因してクライアント側が先に処理限界へ達してしまう課題があった。その結果、サーバーを十分に飽和させられず、測定データの信頼性が損なわれる恐れがあったという。

AIPerfはこの問題を解消するため、従来のPerf Analyzer基盤から完全に脱却し、マルチプロセス構成による分散協調システムとして再設計された。負荷を生成して送信するワーカープロセスと、測定結果を処理するレコードプロセッササービスを独立させ、プロセス間の連携に高速なメッセージングライブラリであるZeroMQ（ZMQ）を採用している。これにより、大規模な並列リクエストが発生する状況でもクライアント側がボトルネックにならず、サーバーの実力を正確に引き出して測定できるとしている。

15種以上のエンドポイントと実トラフィックの再現に対応

AIPerfは、多様なAIワークロードに対応可能な柔軟性を備えている。チャットや応答生成、NIM（NVIDIA Inference Microservices）のランキング、画像生成など、15種類以上のエンドポイント形式を標準でサポートしている。

また、ベンチマークに使用するデータセットとして、合成データだけでなく公開データセットの「ShareGPT」や、Mooncake、Baseten、WEKA（AgentX）といった各種トレース再生フォーマットに対応した。これにより、簡易な動作確認テストから、本番環境で実際に記録されたトラフィックログの再現まで、用途ごとに別のツールを用意することなく同一の環境で検証が行えるという。

トラフィックの形状を細かく制御できる負荷生成機能

テスト時の負荷制御においては、リクエストの総量だけでなくトラフィックの「形状（発生パターン）」を柔軟に設定できる機能が盛り込まれた。均等な間隔で送信する一定（constant）パターンのほか、ポアソン分布（Poisson）やガンマ分布（gamma）を用いた確率的な到着パターンに対応し、トラフィックの突発的な集中（バースト性）も調整できる。

さらに、同時実行数（concurrency）やリクエストレートを徐々に引き上げるランプアップ設定や、推論エンジンであるvLLMやSGLangで用いられる範囲比率（range-ratio）に基づいた入力トークン長（ISL）および出力トークン長（OSL）の合成分布設定にも対応している。これにより、実際のユーザー利用に近い不規則なアクセス状況を精緻にシミュレーションできるとしている。

詳細な遅延指標のパーセンタイル集計とGPU監視連携

測定結果として出力される主要指標には、リクエスト送信から最初の1トークンが出力されるまでの時間を指すTTFT（Time to First Token）や、生成中のトークンとトークンの間の遅延を表すITL（Inter-Token Latency）、リクエスト全体のレイテンシ、出力トークンのスループット（単位時間あたりの生成量）などが含まれる。これらは平均値だけでなく、パーセンタイル（分位数）別に詳細に集計・報告される。

また、システム内にDCGM（Data Center GPU Manager：データセンター向けGPU監視ツール）やPython向け監視ライブラリのpynvmlが導入されている環境では、ベンチマーク実行中のGPUテレメトリ（稼働状況データ）も同時に取得できる仕様となっている。

導入手順とARM環境におけるビルド上の注意点

AIPerfの導入は、Pythonの高速パッケージ管理ツール「uv」に対応しており、uv tool install aiperf や仮想環境内での uv pip install aiperf コマンドで容易にセットアップできる。

なお、ARM64（aarch64）環境へのインストールにあたっては、依存関係である crick パッケージがソースコード形式のみで提供されているため、Cコンパイラなどのビルドツール（DebianやUbuntuでは build-essential、RHEL系では Development Tools）が事前に必要になると注意を促している。公式ブログでは、推論フレームワーク「vLLM」のDockerコンテナ上で軽量モデル「Qwen3-0.6B」を起動し、単一GPUで素早くベンチマーク手順を確立・反復する具体例が紹介されている。