4ビット量子化モデルが元モデルの精度を逆転、Multiverse Computingが新手法「QAH」を発表

要点

• Multiverse Computingの研究チームが、構造圧縮と量子化を行ったLLMの性能を回復させる新手法「Quantization-Aware Healing（QAH）」を発表した。
• 従来の蒸留手法が圧縮後の劣化した中間モデルを教師としていたのに対し、QAHは圧縮前の元となるフルサイズ・フル精度モデルから直接知識を蒸留する。
• GPT-OSS 120Bを60Bに構造圧縮して4ビット（MXFP4）化したモデルに適用したところ、9つのベンチマーク中7つで量子化前の16ビット（bfloat16）版を上回る精度を記録した。
• 小型化と運用コスト削減を両立しながら元モデル以上の精度を発揮し、低精度化に伴う性能劣化というこれまでの常識を覆した。

リード文

スペインのAI企業Multiverse Computingの研究チームは2026年8月25日、構造的圧縮と4ビット量子化を施した大規模言語モデル（LLM）の性能を回復させる新技術「Quantization-Aware Healing（QAH）」を発表した。同チームは研究論文『Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs』を公開するとともに、Hugging Face Blogで技術の詳細と検証結果を報告している。

背景：モデル圧縮・量子化に伴う性能劣化と回復の課題

大規模言語モデルを効率的に実運用へ配備する際、モデル構造を圧縮した上で重みを低ビットへ量子化（数値を表現するビット数を減らしてメモリ消費と計算量を削減する技術）する手法が標準的に用いられている。具体的には、レイヤーやアテンションヘッド、ニューロンの一部を削ってパラメータ数を削減し、残った重みを4ビットに圧縮して計算資源を節約する流れだ。

しかし、構造的圧縮と量子化を組み合わせると、推論能力や数学的問題解決、コード生成といったモデルの重要な処理能力が系統的に低下してしまう。そのため、本番環境への投入前に性能を回復させる「ヒーリング（healing）」工程が不可欠となっている。オープンウェイトの「GPT-OSS」やNVIDIAの「Nemotron」シリーズ、同社の「Hypernova 60B」など、近年の主要なモデル群もこの圧縮・回復プロセスを採用しているという。

既存の回復手法が抱えていた構造的限界

研究チームによると、従来のヒーリング手法には主に「QAT（量子化対応訓練）」と「QAD（量子化対応蒸留）」の2通りが存在するが、構造的圧縮と量子化の双方を施したモデルに対しては十分な効果が得られなかった。

主流のQAT（Quantization-Aware Training）は、順伝播処理に疑似量子化を挿入し、タスク損失に基づいてファインチューニングを継続する手法だ。しかし、教師ありファインチューニング（SFT）や人間のフィードバックによる強化学習（RLHF）、エージェント向けチューニングといった多段階の高コストな事後学習を、ノイズの多い低精度環境で再実行しなければならない。計算コストが極めて膨大になるだけでなく、最適な状態を超えて学習を続けると動作が不安定になる問題があった。

一方のQAD（Quantization-Aware Distillation）は、出力ロジット（確率化前の出力値）のKLダイバージェンス損失を通じて、固定されたフル精度の教師モデルから量子化された生徒モデルへ直接知識を蒸留（高精度なモデルの挙動を小型モデルに学ばせる技術）する手法だ。この手法は量子化のみを行う場合には有効だが、レイヤーやヘッドを削る構造的圧縮を伴う場合には前提が崩れてしまう。小型化された構造に対応する独立したフル精度版が存在しないため、圧縮後に復元されたbfloat16（16ビット浮動小数点数）の中間チェックポイントを教師にするしかなく、元のモデルの近似に過ぎない劣化したモデルを基準とすることで、生徒モデルの性能上限が縛られていた。

新手法「QAH」のアプローチと検証結果

今回開発された「QAH（Quantization-Aware Healing）」は、蒸留元となる教師モデルを根本から見直すことで、この性能上限を打破した。QAHでは、圧縮後に復元された中間モデルではなく、構造圧縮を行う前の「オリジナルのフルサイズ・フル精度モデル」から直接生徒モデルへと蒸留を行う。

このアプローチでは教師モデルと生徒モデルのアーキテクチャが異なっていても適用可能であり、教師側は圧縮前のフルサイズかつフル精度のモデル、生徒側はサイズが半分でMXFP4（微細浮動小数点形式の4ビット）で動作するモデルとなる。

研究チームが「GPT-OSS 120B」を半分の60Bパラメータに構造圧縮し、MXFP4形式に量子化したモデルへQAHを適用したところ、9つのベンチマーク中7つにおいて、量子化の元となったフル精度（bfloat16）バージョンのスコアを上回る性能を記録した。

この結果により、モデルサイズを縮小して実行コストを削減しながら、量子化元のチェックポイントよりも高い精度を発揮できることが実証された。従来の「4ビットモデルは元の16ビットモデルよりも性能が落ちる」という関係性を覆す成果となったと説明している。