NVIDIA、大規模LLMトレーニングの効率を維持する「不均一テンソル並列（NTP）」技術を公開

要点

• 大規模LLMの学習時に一時的なGPUの離脱が発生しても、テンソル並列の度合いを動的に変更して学習の失速を防ぐ「不均一テンソル並列（NTP）」が公開された。
• 稼働中のGPUの動作クロックを一時的に引き上げる「動的パワーブースティング」により、リソース減少による処理能力低下を補う。
• データ再配置に伴うオーバーヘッドを1%未満に抑え、学習全体の高い計算効率を維持することに成功した。
• NVIDIAの次世代システム「Blackwell」および「Blackwell Ultra」で構成される、最大72基のGPUによる大規模な通信グループにおいて動作が実証されている。

リード文

NVIDIAは2026年7月6日、同社の技術ブログにて、大規模なLLM（大量のテキストデータを学習し、高度な自然言語処理を行うAIモデル）のトレーニングにおいて一時的なGPUの離脱が発生した際にも学習を停止させずに効率を維持する実験的フレームワーク「不均一テンソル並列（Nonuniform Tensor Parallelism: NTP）」に関する情報を公開した。本技術は、一部のGPUが利用不可になった際にテンソル並列の度合いを動的に変更することで、計算の滞りやスループット（処理能力）の低下を最小限に抑えることを目的としている。これにより、単なるハードウェアの処理能力ではなく、モデルの学習の収束に直接貢献する有効な仕事量である「Goodput（グッドプット）」を最大化できるという。

本文

大規模LLMトレーニングにおけるインフラの課題

数千基のGPUが稼働し、長期間実行される大規模なAIモデルのトレーニングでは、ハードウェアの故障などによる一時的な中断が避けられない。特に、緊密に接続されたGPUクラスタにおいては、わずか1基のデバイスが利用できなくなるだけでも、クラスタ全体の同期が乱れ、学習プロセス全体の速度低下につながる問題があった。

現在、こうした一時的なGPUの離脱に対処するため、データのコピーである「データ並列レプリカ（学習データを分割して並列処理するためのモデルの複製）」の削減や、チェックポイント（途中経過の保存データ）からの再起動、予備のGPU（ホットスペア）への切り替えなどが用いられている。しかし、これらの方法では、リソースが制限された状態で動作する間の処理能力低下や、切り替えにかかるコストなどの課題が残されていた。

不均一テンソル並列（NTP）による解決策

今回発表されたNTP（arXiv:2504.06095に掲載された論文に基づく）は、これらの既存手法を補完し、スループットの損失を最小限に抑える新しいアプローチである。NTPの主な役割は、一時的なデバイス障害による学習タスクの停止を防ぎ、高いGoodputを維持することにある。

具体的には、テンソル並列（モデルのニューラルネットワーク層を複数のGPUに分割して並列処理する手法）の構成を、利用可能なGPU数に合わせて動的に変更する。さらに、これに伴う「再シャーディング（変更された並列数に合わせてモデルのパラメータやデータを再配置する処理）」を他の計算処理と高度に重ね合わせることで、構成変更によるオーバーヘッド（余分な負荷）を1%未満に抑えることに成功している。

パワーブースティングによる性能低下の回避

さらにNTPでは、動的なパワーブースティング（電力および動作クロックの動的制御）の統合が提案されている。
一部のGPUが利用不可になりグループ内の計算リソースが減少した際、稼働中のGPUの動作周波数（クロック）を一時的に引き上げることで、リソース減少による処理能力の低下を相殺する。これにより、複数のグループ間でデータを並列処理する際の全体的な同期速度の低下を防ぎ、トレーニング全体のスループットを一定に保つことができるという。

次世代アーキテクチャ「Blackwell」での適用

この技術は、GPU間の接続技術である「NVIDIA NVLink（GPU同士を高速に直接接続し、通信遅延を抑えるための接続技術）」を用いた大規模なシステム環境で効果を発揮する。
NVIDIAの次世代システム「NVIDIA Blackwell」および「NVIDIA Blackwell Ultra」では、最大72基のGPUが毎秒1,800ギガバイト（GB/s）の帯域幅を持つNVLinkで接続され、1ホップ（中継なしの直接通信）での全対全通信をサポートしている。

従来のような8基のGPUで構成されるシステムから、72基あるいはそれ以上のGPUが緊密に連携する巨大な「スケールアップ・ドメイン（高速なネットワークで緊密に結ばれ、一つのグループとして機能するGPUの単位）」へとデータセンターの構造が進化する中で、一部のGPUトラブルによる影響を最小限に抑え、生き残った正常なGPUの稼働率を最大化することが、トレーニング全体の効率を最適化する鍵になると説明されている。