NVIDIA、Megatron Coreで大規模学習の「ビット完全一致」を実現　速度低下は約2%に抑制

要点

• NVIDIAは、LLM開発フレームワーク「Megatron Core」において、大規模事前学習をビット単位で完全に再現する手法を発表した。

• 独立した実行間の一致とチェックポイント再開において、学習の数値軌跡が全ステップで完全に一致することを保証する。

• 2,432基のGPUを用いた検証では、800ステップにわたり完全な再現性を維持しつつ、速度低下を約2%に抑えた。

• 行列演算の出力スロット分離や集約順序の固定といったカーネル改修により、並列性能と決定論性の両立を図った。

• 米NVIDIAは2026年10月6日、同社の公式技術ブログにおいて、大規模言語モデル（LLM）の学習フレームワーク「Megatron Core」上で、数兆パラメータ規模の学習における「ビット単位の決定論性（Bitwise Determinism）」を実現する手法を公開した。GitHub上のプルリクエスト（PR #7262）を通じて提案された本手法は、各GPUランクのテンソルフィンガープリントを順序立てて記録し、分散学習で生じる非決定的な挙動を特定・修正するものだという。莫大な計算資源を投じる大規模学習において、障害調査や中断からの復帰を確実にする取り組みとして詳細が明かされた。

大規模学習における再現性の課題と「2つの保証」

数千基のGPUを用いて数兆パラメータ規模のモデルを学習する環境では、複雑な並列化手法や低精度演算、分散チェックポインティングが組み合わさるため、不具合の再現や検証が極めて困難になる。莫大な費用がかかる実運用の事前学習では、わずかな速度低下でも数千GPU日分の損失につながるため、計算効率を損なわずに再現性を確保することが強く求められていた。

今回NVIDIAが示した「ビット単位の決定論性」とは、データ順序やモデル構成、ソフトウェア、ハードウェアなどを揃えた際に、実行間で数値の推移が完全に一致する状態を指す。Megatron Coreでは、同一の初期状態から開始した2つの実行が全ステップで一致する「独立した再現性」と、チェックポイントから復帰した実行が中断なしの実行と完全に一致する「ビット単位のチェックポイント再開」という2つの保証を目標に掲げている。

決定論性がもたらす4つの運用メリット

元記事によると、ビット単位の決定論性の確立により、大規模事前学習において以下の4つの実用的なメリットが得られるという。

1つ目は「障害の再現」だ。学習中に損失値が急増する「損失スパイク」が起きた際、同じステップで現象を確実に再現し、構成要素を1つずつ変更しながら原因を特定できる。2つ目は「チェックポイントの連続性維持」であり、数値軌跡を変えずに中断した学習を直前の状態から再開できる。3つ目は「予期しない差異の検出」で、同一条件の実行間の不一致を通じて、チェックポイントの破損やソフトウェア・ハードウェアの異常を検知できる。そして4つ目が「システム変更の比較検証」だ。意図的な変更による数値的影響を、実行ごとのばらつきと明確に区別して評価できるという。

画面上の損失表示に頼らない「フィンガープリント」検証

従来の運用で確認されてきたコンソール上の丸められた損失表示は、ビット単位の一致を判定するには感度が不十分であった。パラメータや勾配の下位ビットで差異が生じていても、丸め処理によって同じ数値が表示されてしまうためだ。

そこでMegatron Coreでは、各ステップで特定の数値メトリクスのフィンガープリントを記録・比較する検証手順を導入した。検証対象には、学習損失や言語モデリング損失、負荷分散損失、複数トークン予測（MTP）損失、勾配ノルムなどが含まれる。同一構成で2回実行したログをステップごとに突き合わせ、最初に差異が生じたステップを特定して調査範囲を絞り込む。チェックポイント復帰時も同様に、パラメータやオプティマイザ、乱数生成器（RNG）の状態などが参照データと完全一致するかを検証する仕組みだ。

2,432基のGPUで速度低下を約2%に抑制、カーネルレベルの改善

決定論的な処理は並列性を損ないやすく、実行速度の低下を招きがちだ。しかしNVIDIAの事例研究によると、Nemotronモデルを用いた2,432基のGPU環境において、800ステップにわたり決定論性を維持しつつ、速度低下などのオーバーヘッド（determinism tax）を約2%に抑制できたという。

この高効率な再現性を実現したのが、演算カーネルレベルの改修である。grouped-GEMM（グループ化された一般行列積）の書き込み処理に排他的な出力スロットを割り当て、さらに固定順序でのリダクション（集約処理）を適用することで、並列性能を維持したまま非決定的な挙動を排除した。さらに、FP8やFP4を含む各種並列化構成においてレシピやモジュールのテストを導入し、今後の開発による決定論性の退行（リグレッション）を防ぐ体制も整えていると説明している。