物理学の知見でLLMを軽量化、Multiverse Computingが「イジング最適化」によるブロック削除手法を発表

要点

• Multiverse Computingの研究チームが、大規模言語モデルのTransformerブロックを削除する軽量化手法に関する新論文を発表した。

• 物理学のスピングラス理論を取り入れ、ブロック削除の組み合わせ選定を「制約付きバイナリ最適化問題」として定式化した。

• ブロック間の相互作用をヘッセ行列で表現し、スピン系のエネルギーをベンチマーク性能の代替指標として利用する。

• 「Llama-3.3-70B-Instruct」を50%圧縮した評価において、MMLUスコアが既存の最良手法と比較して約23パーセンテージポイント向上した。

• Multiverse Computingの研究チームは2026年9月21日、大規模言語モデル（LLM）の層を削減する軽量化手法に関する最新論文『LLM Compression by Block Removal with Constrained Binary Optimization』を公開した。物理学の統計力学で扱われるスピングラス理論を応用し、どのTransformerブロックを削除すべきかを制約付き最適化問題として解くアプローチを提示している。この手法により、モデルの大幅な圧縮時でも高い精度を維持できることが示された。

モデル短縮による推論高速化と「ブロック選定」の難しさ

大規模言語モデルの推論を高速化する手法の一つとして、モデルを構成するTransformerブロック（層）そのものを丸ごと削除する「ブロック削除（depth pruning）」がある。ブロック削除は、モデル全体の深さを直接減らすため、メモリ消費量の削減に加えて予測しやすい推論速度の向上をもたらす。さらに、重みの量子化や低ランク圧縮（low-rank compression）といった他の軽量化技術と組み合わせて適用しやすいという特長を持つ。

一方で、最大の課題は「どのブロックを削除するか」という選定にある。不適切なブロックを削除するとモデルの出力性能が著しく低下してしまう。さらに、特定のブロックを削除した際の影響は、同時に他のどのブロックを削除するかによって変化する。個々の選択が互いに影響を及ぼし合うため、ブロックの選定は単なる重要度の順位付けではなく、膨大な選択肢から最適な組み合わせを選ぶ「組合せ最適化問題」となる。

従来手法における「独立性の仮定」とその限界

既存のブロック削除手法の多くは、重みの大きさ（マグニチュード）や感度、あるいは「ブロック影響度」などの指標を用いて各ブロックを個別にスコアリングし、重要度が低いと見なされたブロックを順に削除するアプローチを採用してきた。

研究チームは、こうした手法が物理学における「平均場近似（mean-field method）」に相当すると指摘している。平均場近似とは、周囲のスピンからの個別の影響を単一の平均化された場として近似する手法であり、各ブロックの寄与を互いに独立なものとして扱ってしまう。また、探索の複雑さを避けるために「連続したブロックの単一の並び」のみを削除する簡易的な手法も存在するが、このアプローチでは探索空間の大部分を最初から切り捨ててしまう問題があった。

実際のモデルにおいて、ブロック同士は独立して機能しているわけではない。例えば「20番目のブロック」を削除した際の影響は、隣接する19番目や24番目のブロックが残されているかどうかに左右される。このように決定同士が結びつく関係性を「結合（カップリング）」と呼ぶ。モデルが深層化し構造が不均一になるほど、この結合を無視した削除では性能の低下が顕著になる。しかし、相互作用を考慮した組み合わせの数は指数関数的に増大するため、力任せの総当たり探索を行うことは現実的ではなかった。

スピングラス理論と2次テイラー展開による定式化

そこで研究チームは、相互作用を持つバイナリ変数を扱う統計物理学のツールをブロック選定に応用した。

具体的には、各Transformerブロックに対して「保持する場合は0」「削除する場合は1」という2値の変数を割り当てる。これは物理学において上向きまたは下向きの状態をとる「スピン」と直接対応する。その上で、モデルの損失関数に対してこれらの変数による2次テイラー展開を行い、近似的なヘッセ行列（2階偏導関数を行列として並べたもの）を導出する。

このヘッセ行列において、対角成分は各ブロックが単体で持つ重要度を表し、非対角成分はブロック間のペアワイズな相互作用（カップリング）を表す。これにより、従来の平均場的な手法では捨てられていた多体相互作用を数式上に取り込むことが可能となった。

この定式化を通じて、ブロック選定の問題は「全N個のブロックから指定されたM個を削除する」という制約のもとで、エネルギー式 xᵀH⁰x を最小化する「制約付きバイナリ最適化（CBO）」問題へと変換される。これは物理学において、全結合の相互作用を持ち上向きスピンの数が固定された無秩序なスピン系である「イジングスピングラス（Ising glass）」の基底状態を求める問題と完全に一致する。

ベンチマーク測定を代替するエネルギー計算とソルバーの活用

この手法の大きな利点は、スピン系のエネルギー計算値が、剪定されたモデルの実際のベンチマークスコアに対する強力かつ計算コストの低い代替指標（プロキシ）として機能する点にある。

従来であれば、削除の組み合わせ候補ごとにモデルを構築してベンチマークを実行しなければ性能を評価できなかったが、新手法では実測を行うことなく膨大な候補構成の優劣を評価できる。そして、定式化された最適化問題の求解には、Multiverse Computingが開発・運用している古典ソルバーや量子着想（量子インスパイアード）ソルバーがそのまま活用されている。

50%圧縮時の実験結果：Llama-3.3-70BでMMLUが約23ポイント向上

提案された手法は、特にモデルを大幅に圧縮する高圧縮領域において顕著な効果を発揮した。

Metaの大規模言語モデル「Llama-3.3-70B-Instruct」を対象に、全体の50%のブロックを削除する実験を実施したところ、言語モデルの総合的な知識や理解力を測るベンチマーク「MMLU（Massive Multitask Language Understanding）」において、既存の最良のブロック削除手法と比較して約23パーセンテージポイント高いスコアを記録した。ブロック間の相互作用を考慮した最適化が、高圧縮時におけるモデルの崩壊を防ぎ、高い精度維持に寄与することが実証されたとしている。