NVIDIA、Blackwell GPUでの機密AI推論手法を発表　暗号化下でも96％以上のスループットを維持

要点

• 米NVIDIAは、機密コンピューティング環境下で高性能なAI推論を実行するための最適化手法と検証結果を公開した。

• 推論フレームワーク「TensorRT-LLM」に、データ転送やカーネル測定、GPU間通信を最適化する適応処理を導入した。

• 8基の「NVIDIA B200」と「DeepSeek-R1」を用いたテストでは、通常時に対し96.1〜98.2%のトークンスループットを維持した。

• トークンごとのレイテンシ増加も1.2〜4.3%に抑えられ、セキュリティ保護に伴う性能低下がわずかであることが確認された。

• 米NVIDIAは2026年9月22日、同社の公式技術ブログにおいて、機密コンピューティング（Confidential Computing）環境下で高い推論性能を維持する最適化手法と性能検証結果を公開した。機密仮想マシンや機密GPUを活用してデータを保護しつつ、推論エンジン「TensorRT-LLM」を「NVIDIA Blackwell」アーキテクチャ向けに適応させることで、暗号化に伴うオーバーヘッドを数パーセント台に抑えられることを明らかにした。

機密コンピューティング環境とAI推論の課題

大規模言語モデル（LLM）が企業や規制対象の機密データを扱う機会が増える中、安全な保護環境内で推論処理を実行する需要が高まっている。NVIDIAの機密コンピューティングは、メモリ暗号化を行う機密仮想マシン（CVM: Confidential Virtual Machine）や機密GPU、暗号化されたインターコネクト「NVLink」を組み合わせることで、信頼されたハードウェア上での本番AI推論を実現する技術だ。

しかし、機密コンピューティングを有効化すると、メモリ転送の暗号化や安全な実行保護のために、データ移動やタイミング、スケジューリング、マルチGPU間通信の挙動が通常時と変化する。フレームワーク側がこれらに対応しない場合、処理遅延（オーバーヘッド）が生じて性能が低下してしまう。そのため、高い推論性能を保つには、推論フレームワークと機密実行環境の双方を協調して最適化する必要があると同社は説明している。

TensorRT-LLMにおける3つの最適化アプローチ

NVIDIAの推論フレームワーク「TensorRT-LLM」では、Blackwell世代のGPU（NVIDIA B200など）に向けて、機密コンピューティング特有の制約に対応する適応処理（CC-aware adaptations）が導入されている。具体的には以下の3点が挙げられている。

1つ目は、CPU（ホスト）とGPU（デバイス）間のデータ転送の改善だ。B200の機密コンピューティングでは転送がソフトウェア暗号化のバウンスバッファを経由するため、TensorRT-LLMは固定メモリ（Pinned Memory）ではなくページング可能（Pageable）メモリを選択し、反復するトークンの読み戻し処理を非同期ワーカーへ移譲して待ち時間を削減した。

2つ目は、カーネル自動調整機能（Autotuner）の測定精度の向上である。カーネルとはGPU上で並列実行される処理単位を指す。暗号化環境ではタイミング信号が不安定になることがあるため、最適な実行プランを選定するオートチューナーの測定基準を、従来のCUDAイベントからGPU内部の「%globaltimer」へと切り替えた。

3つ目は、GPU間通信アルゴリズムの動的選定だ。B200の機密構成ではNVLink Switchマルチキャスト（NVLS）が利用できないため、フレームワークがNVLSの利用可否を自動検知し、データサイズやネットワーク構成に応じて遅延を最小化する通信アルゴリズムを選択する仕組みを取り入れた。

8基のB200とDeepSeek-R1を用いた性能検証

NVIDIAはこれらの効果を測定するため、暗号化の影響が最も出やすい条件下で比較テストを実施した。

検証では、入力32Kトークン・出力1Kトークンという長大なコンテキスト長と、並行リクエスト数1〜16という低並行度のワークロードが選定された。入力の長さはプロンプト処理時のデータ移動負荷を高め、長い出力はトークン生成ごとの暗号化遅延を顕在化させる。さらに並行度が低いことで、リクエスト間で待機時間を隠蔽しにくくなり、純粋なオーバーヘッドを観測しやすくなる。

テスト環境には8基のNVIDIA B200 GPU（テンソル並列度 TP=8、エキスパート並列度 EP=1、パイプライン並列度 PP=1）を用い、モデルには「DeepSeek-R1」（nvidia/DeepSeek-R1-0528-NVFP4）とFP8 KVキャッシュが採用された。機密コンピューティングの有効・無効を切り替えて同一条件で比較した結果、有効時でもベースラインの96.1%〜98.2%の出力トークンスループットを維持した。また、1トークンあたりのレイテンシオーバーヘッドも1.2%〜4.3%の増加にとどまったという。