複数の拡散言語モデルを協調させて性能向上、Sakana AIが新手法「UnMaskFork」を発表

要点

• Sakana AIは、複数のマスク型拡散言語モデル（MDLM）を協調させて回答精度を向上させる新手法「UnMaskFork（UMF）」を発表した。

• 本手法は、モデル内部の改変や追加の学習を行うことなく、推論時の計算量を増やすことで回答精度を高める「推論時スケーリング」を実現する。

• 従来のLLMで用いられるランダム性に頼る手法とは異なり、モンテカルロ木探索を用いて複数のモデルを切り替えながら、各モデルが得意な箇所のテキスト生成を分担する。

• コーディングおよび数学のベンチマークにおいて、既存の推論時スケーリング手法を上回る性能や、計算量に応じた着実な性能向上が確認された。

• 本研究は同社が提唱する「AIの集合知」の追求の一環であり、ICML 2026に採択されている。

• 人工知能（AI）開発を行うSakana AIは、複数の「マスク型拡散言語モデル（MDLM）」を協調させることで、コーディングや数学といったタスクにおける解答能力を向上させる新たな推論時スケーリング手法「UnMaskFork（UMF）」を発表した。この成果をまとめた論文は、機械学習分野の主要な国際学会「ICML 2026」に採択されている。追加の学習やモデルの改変を必要とせず、推論時に既存の学習済みモデルを組み合わせるだけで機能する点が特徴だという。

「推論時スケーリング」の潮流とMDLMにおける課題

近年、大規模言語モデル（LLM）の性能を向上させる技術として「推論時スケーリング（Test-Time Scaling）」が注目を集めている。これは、AIが回答を出力する際（推論時）の計算リソースを追加し、回答について「長考」させたり、解答の修正や改善を何度も繰り返させたりすることで性能を引き上げるアプローチである。追加の学習を行う必要がなく、用途に応じて計算コストと性能のバランスを調整できるため、活発に研究されている。

一方、テキストを左から右へ順に生成する通常の自己回帰型LLMと異なり、近年関心が高まっている「マスク型拡散言語モデル（MDLM）」は、全体が伏せ字（マスク）になった状態の文章から、徐々にマスクを取り除いてテキストを埋めていくことで文章を完成させる新しい方式の言語モデルである。MDLMは複数箇所を並列に生成できるため高速化が期待できるほか、文章全体を見渡しながら柔軟に生成できる強みを持つ。

しかし同社の実験により、通常のLLMで使われる「温度パラメータを上げてランダム性を高め、多様な解答を生成させる」標準的なアプローチは、MDLMの一種である「Dream-Coder」などでは十分に機能しないことが明らかになった。

モデルの切り替えで多様性を生む「UnMaskFork」の仕組み

そこで提案されたのが、ランダム性の代わりに「モデルの切り替え」で多様性を生み出すUMFである。

UMFでは、複数のMDLMが一つの解答のマスク解除（テキスト生成）を分担する。どのモデルがどの段階を担当するかの有望な順番を、ゲームの先読みなどで用いられる「モンテカルロ木探索（シミュレーションを繰り返して最善の選択肢を見つけ出す手法）」で探索する。

実際の生成では、あるモデルが途中まで作成した文章を別のモデルが引き継ぐ。各モデルは、自分が最も自信のある（確信度の高い）部分のマスクを優先的に解除してテキストを埋めていく。この協調アプローチにより、生成品質を保ったまま多様な解答の選択肢を探索することが可能になるという。

実証実験の結果と「AIの集合知」

ベンチマークテストによる検証では、UMFはコーディングの評価タスクにおいて既存の推論時スケーリング手法を一貫して上回る性能を示した。また数学のタスクにおいても、推論時の計算量を増やすにつれて回答精度が着実に向上するスケーリング効果が確認された。

UMFは追加学習やモデルの変更を一切必要としないため、異なるデータや方法で学習された既存のモデルをそのまま組み合わせて利用できる。将来的に多様な特徴を持つMDLMが登場するほど、UMFの価値はさらに広がると同社は説明している。

今回の研究は、Sakana AIが推進する、複数のLLMを協調させる「AB-MCTS」や「Sakana Fugu」といった「AIの集合知（Collective Intelligence of AI）」をテーマにした研究活動の一環である。同社は今後も、モデルの多様性を力に変えるアプローチを追求していく意向だ。本技術のアルゴリズムの詳細や具体的な協調プロセスの例は、公開された技術ブログおよび論文（arXiv:2602.04344）で確認できる。