NVIDIA、「Nemotron 3.5 Lightning」のNVFP4量子化手法を公開　蒸留技術で精度を維持しつつ容量を3分の1に圧縮

要点

• NVIDIAは、オープンモデル「Nemotron 3.5 Lightning」向けに、4ビット量子化フォーマット「NVFP4」を適用する開発手法を技術ブログで公開した。

• 最適化ツール「NVIDIA Model Optimizer」を用いた量子化考慮蒸留（QAD）により、モデル容量を66GBから22GBへ圧縮し、最大4倍のスループット向上を達成した。

• QADは学習後量子化（PTQ）と凍結した教師モデルからの蒸留を組み合わせた2段階プロセスで構成され、量子化に伴う精度低下をベースライン近くまで回復させる。

• コーディングやAIエージェント関連のベンチマークにおいて、従来のPTQ単体手法を上回る性能を一貫して示した。

• 「NVIDIA Model Optimizer」および「Megatron-Bridge」を通じて、再現可能な一連のワークフローが提供されている。

• 米NVIDIAは2026年8月17日、公式技術ブログにおいて、オープン言語モデル「Nemotron 3.5 Lightning」を対象としたNVFP4量子化チェックポイントの開発パイプラインを発表した。同社の最適化ツール「NVIDIA Model Optimizer」と量子化考慮蒸留（QAD）技術を活用することで、モデルの精度を保ったままメモリ使用量を大幅に削減し、推論処理を高速化させる手順を明らかにしている。

モデル容量を66GBから22GBへ圧縮、推論速度は最大4倍に

発表によると、新たに開発された「Nemotron 3.5 Lightning NVFP4」チェックポイントは、重みの多くを4ビットに量子化（数値の表現精度を落としてデータ量を減らす処理）することで、元のフル精度版（66GB）から22GBへとモデルサイズが約3分の1に縮小された。これにより、元の精度を維持しながら最大4倍のスループット（単位時間あたりの処理量）向上を実現しているという。

通常、NVFP4（NVIDIAが提供する4ビット浮動小数点フォーマット）への圧縮には、追加学習を伴わない「学習後量子化（PTQ: Post-Training Quantization）」が広く用いられる。しかし、メモリ制約が厳しく、より高速な推論性能を求める場面で積極的な量子化を行うと、精度の劣化が顕著になる課題があった。NVIDIAは、モデルを量子化ノイズに適応させる手法としてQAD（Quantization-Aware Distillation: 量子化考慮蒸留）を採用することで、この課題を解決したと説明している。

教師モデルと生徒モデルを活用する2段階のQADプロセス

同社が示したQADパイプラインは、元のフル精度モデルを「教師（teacher）」、量子化モデルを「生徒（student）」として学習させる2段階の構成となっている。

第1段階（Stage 1）では、BF16（16ビット浮動小数点）精度の元モデルに対してPTQを実行し、重みを4ビット、活性化関数を16ビットで扱う「W4A16」精度の生徒モデル（PTQチェックポイント）を生成する。

続く第2段階（Stage 2）では、元モデルを固定（frozen）の教師役とし、生徒モデルに対してQADの学習を行う。生徒モデルは擬似量子化（simulated quantization）を通じた順伝播処理を行いながら、教師モデルと生徒モデルの出力確率の差を測る「KLダイバージェンス損失」を用いて最適化される。この蒸留プロセスを経ることで、積極的な量子化によって失われた精度がベースライン付近まで回復したNVFP4チェックポイントが得られる仕組みだ。

エージェントやコーディングの評価でPTQ単体を上回る成果

複数のNemotron 3.5 Lightningチェックポイントを用いた実験において、QADは精度回復の中央値や、エージェント処理・コーディング関連のベンチマークにおいて、PTQ単体よりも一貫して優れた結果を示したという。

PTQ単体では精度の低下が大きく実用が難しかったアグレッシブな量子化設定であっても、QADを適用することで実用可能な品質を維持できることが確認されたとしている。また、より保守的な量子化設定を用いた場合でも、QADはエージェント評価においてPTQを上回り、メモリ削減と高い出力品質の両立が実証されたと報告している。

再現ワークフローと設定ツールの提供

NVIDIAは、今回のQADパイプラインを開発者が再現・適用できるよう、「NVIDIA Model Optimizer」および分散学習支援ツール「Megatron-Bridge」によるエンドツーエンドのワークフローを公開した。これには、スケール設定（動的スケールと固定スケール）の選択レシピをはじめ、学習環境の構成手順、最終的なチェックポイントのエクスポート方法などが含まれている。これらを通じて、計算資源やメモリの消費を抑えた効率的な大規模言語モデル運用の普及を促すとしている。