OWN NEWS GATHER
← 戻る
Hugging Face Blog

Liquid AI、軽量LLM「LFM2.5」の4ビットGGUFモデルを公開　量子化認識蒸留でBF16相当の性能を約97%維持

要点

  • Liquid AIは2026年8月19日、軽量モデル「LFM2.5」シリーズ向けに量子化認識蒸留（QAD）を用いた4ビット（Q4_0）GGUFモデルを公開した。

  • 高精度な教師モデルからの蒸留により、4ビットの低メモリ・高速性を保ちながらBF16基準の性能の約97%を回復・維持している。

  • 対象は230M、350M、1.2B-Instruct、2.6Bの4モデルで、推論や指示追従などの主要ベンチマークで大幅な精度向上を確認した。

  • Raspberry Pi 5やGalaxy S26 Ultraなどの実機検証では、上位の量子化形式と同等の品質を保ち、最大33%のスループット向上を達成した。

  • 米AIスタートアップのLiquid AIは2026年8月19日、同社の軽量言語モデルシリーズ「LFM2.5」において、「量子化認識蒸留（QAD: Quantization-Aware Distillation）」を適用した4ビット量子化（Q4_0）チェックポイントを公開したと発表した。4ビット本来の低メモリ消費と高速推論を維持しつつ、量子化に伴う精度低下を大幅に抑えたという。対象となるのは、パラメータ規模の異なる230M、350M、1.2B-Instruct、2.6Bの4モデルである。

蒸留による学習で量子化に伴う精度低下を抑制

エッジデバイス上で言語モデルを動作させる際、モデルのパラメータ精度を落として軽量化・高速化する「量子化」が広く用いられている。しかし、学習完了後にモデルを圧縮する従来の学習後量子化（PTQ: Post-Training Quantization）では、計算精度の低下に伴いモデル本来の性能が損なわれやすいという課題が存在していた。

Liquid AIが採用した量子化認識蒸留（QAD）は、高精度な教師モデルの知識を、あらかじめ量子化された生徒モデルへと蒸留（高精度モデルの出力を別のモデルに学習させて性能を引き継ぐ手法）しながら学習を進める技術だ。同社によると、この手法によってネイティブなQ4_0形式と同じ低メモリ消費と高速性を保ったまま、量子化によって失われていたBF16平均精度の97%を回復させることに成功したとしている。

主要ベンチマークでBF16ベースラインの約97%を維持

Liquid AIは、従来のPTQで生成されたGGUFモデルと、今回のQAD Q4_0チェックポイントの比較評価を実施した。評価には、推論能力、指示追従、ツール利用、エージェント能力を総合的に測定する「GPQA Diamond」「MMLU-Pro」「IFEval」「IFBench」「Multi-IF」「BFCLv4」の各ベンチマークスイートを採用。さらにモデル規模に応じた数学評価として、230Mおよび350Mに「GSM8K」、1.2B-Instructおよび2.6Bに「AIME25」を用い、全項目で5回の試行平均値を算出した。

上限基準となるBF16 GGUFモデルとの比較において、全4モデルで顕著な改善が見られた。BF16ベースラインに対する性能保持率は、230Mで97.1%、350Mで96.5%、1.2B-Instructで97.4%、2.6Bで96.6%を記録し、いずれの規模でも96%以上の高い精度を維持しているという。

実機エッジ環境での検証と上位量子化形式を上回る推論速度

実際のハードウェアにおける性能検証では、MacBook Pro、小型PCのNucBox EVO-X2（いずれもGPU推論）、Samsung Galaxy S26 Ultra、Raspberry Pi 5（いずれもArm CPU推論）という4つのターゲット環境でデコードスループット（単位時間あたりのトークン生成速度）が測定された。

実機での測定結果によると、LFM2.5-230Mおよび350MのQAD Q4_0モデルは、より高ビットな「Q5_K_M」形式と同等の品質を維持しながら、デコードスループットが4〜33%向上したという。また、1.2B-Instructおよび2.6Bのモデルでは、「Q4_K_M」形式と同等品質を保ちつつ、スループットが3〜14%高速化した。さらに、230Mと1.2Bにおいては、外部の有力PTQ手法であるUnslothの「UD-Q4_K_XL」と同等の品質を達成したと報告されている。

llama.cpp対応とHugging Faceでの公開状況

今回公開されたチェックポイントは、ローカル環境でLLMを実行するための統一ファイル形式であるGGUF形式（Q4_0）で提供されている。これにより、「llama.cpp」をはじめとするGGUF Q4_0対応の各種ランタイムでそのまま動作可能だ。Liquid AIの公式ブログでは、llama-cliコマンドを用いてLFM2.5-350Mを実行する具体例も提示されている。

現在、LFM2.5-230M、LFM2.5-350M、LFM2.5-1.2B-Instruct、LFM2.5-2.6Bの全4モデルのQAD GGUFファイルがHugging Face上で公開されており、開発者がすぐにエッジ環境やローカル環境での推論に利用できる状態となっている。

元URL