NVIDIA、「TensorRT 11.1」の自動調整機能「Global Performance Tuner」の詳細を公開　最大1.63倍の高速化を実証

要点

• 米NVIDIAは技術ブログで、推論SDK「TensorRT 11.1」に導入された自動性能調整機能「Global Performance Tuner」のアーキテクチャとアルゴリズムを公開した。

• 200種類以上のコンパイラ設定（ノブ）の組み合わせを「ビルドルート」として扱い、モデルやGPU環境に最適な構成を自動探索する。

• 精度基準を候補選定の制約、実行速度を順位付けの基準とすることで、推論精度を落とさずに性能を最大化する。

• 10種類のワークロードを用いた検証では、標準設定と比較して1.14倍から1.63倍のエンドツーエンドの性能向上が確認されたという。

• 米NVIDIAは2026年10月23日、同社の公式技術ブログにおいて、深層学習推論向けSDK「TensorRT 11.1」に搭載された自動性能チューニング機能「Global Performance Tuner」の解説記事を公開した。同機能は、モデルやハードウェア環境ごとに最適なコンパイル戦略を探索し、推論精度を維持しながら処理速度を自動で最適化する仕組みだという。同社のJian Hu氏とLin Chai氏が執筆を担当し、理論的背景を扱った第1弾記事に続くPart 2として、具体的なアルゴリズムや実装、運用のベストプラクティスを紹介している。

200種以上の設定を探索する「ビルドルート」の概念

Global Performance Tunerの中心的な設計思想は、コンパイル時におけるスケジューリング戦略の選択肢を、明示的かつ探索可能な「ビルドルート（build route）」として表現する点にある。
ディープラーニングコンパイラには、ヒューリスティクス（発見的手法）や演算融合の判断、コード生成パスの選択など、コンパイルパイプラインの挙動を切り替える設定フラグが存在し、これらは「コンパイラノブ（compiler knob）」と呼ばれる。各ノブには許容される有限の値とデフォルト値が定義されており、これらの具体的な値の組み合わせがひとつのビルドルートを構成する。ユーザーが特定のルートを指定しない場合、TensorRTはすべてのノブがデフォルト値のままの「デフォルトビルドルート」を標準で適用する。

記事では具体例として、3つのパスを持つコンパイラにおいて、2番目のパスで水平方向の融合を行うか、垂直方向の融合を行うかを切り替える2値ノブを挙げている。同社によると、どちらの融合手法が優れているかはモデルによって異なり、さらに同一モデルでも入力データの次元やサイズを表す「テンソル形状（shapes）」や対象GPUが変われば最適な手法が変化するという。普遍的に優れた単一の最適解は存在しないため、候補となるエンジンを実際にビルドし、入力から出力までの一連の処理速度（エンドツーエンド性能）を実測比較して選定する必要があるとしている。

C++ APIと「trtexec」による精度考慮の探索ループ

TensorRT 11.1では、ビルドルートを適用したり現在のルートを検査したりするためのC++ APIが公開されている。さらに、200種類を超えるノブの許容値やデフォルト値を含む構成空間全体を検出するAPIも提供されているという。

また、同梱のコマンドラインツール「trtexec」には、この仕組みを活用した自動チューニングループが実装された。trtexecはルート表現を具体的な候補へと展開し、各エンジンをビルドして性能を計測する。処理中にクラッシュしたルートや精度要件を満たさなかったルートは自動的に破棄され、適格な候補の中から最速のエンジンが選出される仕様だ。
ここでは、推論精度を候補絞り込みのための「制約条件」、実行速度を「順位付け基準」として分離して扱う「精度を考慮したチューニング（Accuracy-aware tuning）」が採用されており、精度の低下を防ぎながら性能を最大化できるという。

10のワークロードで最大1.63倍に高速化、運用上の推奨事項も提示

記事内で示された検証結果によると、10種類のワークロードにおいてチューニングを実施したところ、デフォルト設定と比較して1.14倍から1.63倍のエンドツーエンドの性能向上が確認されたと報告されている。

あわせて同社は、運用上の推奨事項（ベストプラクティス）を提示している。探索空間に応じた探索戦略の選択や、ビルド実行前に --dryRun オプションでルート構成を検査すること、--tuningCacheFile および --continue を用いて進捗をキャッシュ保存し、中断・再開が可能な増分チューニングを行うことが推奨されている。さらに、モデルの構造やテンソル形状、対象GPU、ソフトウェアスタックに変更があった際には、最適な構成が変わるため再チューニングが必要だと結んでいる。

なお、TensorRTはNVIDIA製GPU向けに深層学習モデルを最適化して実行する推論エンジンであり、今回の技術解説は最適化の課題や数理理論を扱った第1弾記事に続く後編として位置付けられている。