NVIDIA、JAX向けTransformer EngineでDropless MoE学習を10.4倍高速化　GB200環境でDeepSeek-V3が1,068 TFLOPSに到達

要点

• NVIDIAは、機械学習フレームワーク「JAX」環境において、Transformer Engineを活用してMoEモデルの学習を大幅に高速化する技術を発表した。

• NVIDIA GB200を用いた「DeepSeek-V3」の学習において、演算スループットが従来の103 TFLOPS/GPUから1,068 TFLOPS/GPUへと約10.4倍向上した。

• トークンを破棄しない「Dropless MoE」で生じる不均一なテンソル計算を、単一呼び出しで処理できる「Grouped GEMM」カーネルにより最適化した。

• 通信拡張機能「NCCL EP」の適用により、トークンの送受信処理の融合や重複排除を行い、GPU間通信トラフィックを削減した。

• 1,024基のGPUを搭載したNVIDIA GB300 NVL72環境において、DeepSeek-V3（671B）の学習で97%のスケーリング効率を達成した。

• 米NVIDIAは現地時間2026年9月14日、同社の技術ブログにて、機械学習フレームワーク「JAX」とGPU向け最適化ライブラリ「NVIDIA Transformer Engine」を組み合わせ、MoE（Mixture of Experts）モデルの学習を大幅に高速化する手法を公開した。

• 同社の検証によると、次世代アクセラレータ「NVIDIA GB200」を用いた大規模言語モデル「DeepSeek-V3」の学習において、1GPUあたりのスループットが最適化前の103 TFLOPSから1,068 TFLOPSへと、約10.4倍の性能向上を記録したという。

MoE学習におけるGPU間通信と不均一テンソルのボトルネック

MoE（Mixture of Experts）は、モデル内に複数の専門ネットワーク（エキスパート）を配置し、トークンごとに最適なエキスパートを選択して計算を行うアーキテクチャである。DeepSeekやQwen、Mixtralなどのモデルで採用されており、従来の密結合（Dense）モデルと同等以上の性能を、より少ない計算量で実現できる手法として注目を集めている。

しかし、大規模な分散環境におけるMoE学習では、エキスパート間でのトークン割り当て（ディスパッチ）や結果の回収（ギャザー）、GPU同士の全対全（All-to-All）通信が多発し、深刻な遅延の原因となっていた。NVIDIAによると、最適化前のGB200環境では、累積カーネル実行時間の約84%をGPU間通信が占めていたという。

さらに、トークンのルーティングを学習する過程で特定のエキスパートへの負荷が偏り、エキスパートごとに受け取るトークン数が不揃いになる「Ragged Tensor（不均一テンソル）」が発生する。通常のディープラーニング向けライブラリは均一な矩形テンソル向けに最適化されているため、不均一なデータ構造は計算効率を著しく低下させる要因となっていた。

Dropless MoEの品質維持とGrouped GEMMによる高速化

MoEの処理方式には、各エキスパートの受容量を超えたトークンを破棄する「キャパシティベース」と、すべてのトークンを破棄・パディングせずに処理する「Dropless MoE」の2種類が存在する。Dropless MoEはモデルの精度や品質を高く維持できる利点があるものの、エキスパート間の負荷のばらつきをそのまま計算する必要があり、システムへの負荷が非常に高い。

この課題に対し、NVIDIA Transformer Engineは「Grouped GEMM」と呼ばれる専用カーネルを導入した。GEMM（General Matrix Multiply）は標準的な行列積演算を指すが、Grouped GEMMを用いることで、エキスパートごとに異なるサイズのトークン行列を、1回のカーネル呼び出しでまとめて並列処理できるようにしたという。これにより、不均一なテンソルであってもGPUの演算器を無駄なく活用できる環境を整えた。

NCCL EPによる通信処理の融合とトラフィック削減

エキスパート並列（Expert Parallelism: EP）において発生する莫大な通信オーバーヘッドに対しては、通信ライブラリの拡張機能である「NCCL EP」による最適化が適用された。

NCCL EPでは、トークンを各GPUのエキスパートへ送出するディスパッチ段階と、計算結果を元の順序に復元して集約するコンバイン段階の処理を融合（ヒューズ）した。さらに、ネットワーク上を流れる同一トークンの重複を排除（デデュプリケーション）することで、All-to-All通信におけるデータ転送量を大幅に削減したと説明している。これにより、GPUが通信待ちでアイドル状態に陥る時間を最小限に抑えている。

メモリ最適化と1,024基のGPU環境における97%のスケーリング性能

演算と通信の最適化に加え、メモリ関連のボトルネックを解消する機能も導入された。JAXのホストオフロード機能を活用してGPUメモリの負荷を低減させたほか、コンパイラ技術であるXLAのマルチストリーミングコレクティブ機能を適用した。これにより、高速インターコネクト規格であるNVLinkやInfiniBandをまたぐ通信と、GPU上での計算処理を重複（オーバーラップ）して同時に実行することが可能になったという。

これらの最適化スタックを統合した検証では、6,710億パラメータを持つ「DeepSeek-V3 671B」を対象に、NVIDIA GB300 NVL72システム上で1,024基のGPUを用いた学習が実施された。その結果、極めて大規模な分散環境でありながら、97%という高いスケーリング効率を持続できることが確認されたとしている。

最適化環境の提供リソース

NVIDIAは、今回の最適化されたJAX MoE学習環境を再現・検証するための各種リソースを公開している。Transformer Engineが組み込まれた「NVIDIA NGC MaxText」コンテナイメージをはじめ、MaxTextにおけるMoE設定ガイドやTransformer Engineの公式ドキュメントを通じて、詳細な環境構築手順や仕様を確認できる。