国産LLM「PLaMo 3」に120Bの大型モデルと31B蒸留モデルが登場、PFNとNICTが評価結果を公開

要点

• Preferred Networks（PFN）と情報通信研究機構（NICT）が、共同開発中の国産大規模言語モデル「PLaMo 3」シリーズの新たな評価結果を公表した。
• 新たに1200億パラメータの「plamo-3-nict-2604-120b-base」と、そこから蒸留した310億パラメータの「plamo-3-nict-2604-31b-base」の学習を完了した。
• 日本語生成や翻訳、プログラミング能力などを測定する複数のベンチマークにおいて、同等レベルの計算量で学習された海外の主要モデルと同等以上の性能を確認した。
• 計算量と性能の関係性を分析した結果、さらなる計算量の投入によって海外の有力モデルと同等以上のレベルに到達できる可能性が示された。

新モデル開発の背景

株式会社Preferred Networks（以下、PFN）は2026年7月9日、国立研究開発法人情報通信研究機構（以下、NICT）と共同開発している大規模言語モデル（以下、LLM：大量のテキストデータを学習し、人間のような文章を生成するAI）「PLaMo 3」シリーズの最新の評価結果を公式技術ブログで公開した。今回開発されたのは、1200億パラメータを持つ「plamo-3-nict-2604-120b-base」と、310億パラメータを持つ「plamo-3-nict-2604-31b-base」の2つの事前学習モデルである。

両機関は、日本の文化や社会制度に配慮した高品質な日本語のデータを大量に用いた、安全で高性能な国産LLMの開発を進めている。PLaMo 3シリーズでは、これまでに比較的小規模な8B（80億パラメータ）と31Bモデルの開発が報告されていたが、開発の進展に伴い、より大型の120Bモデルと、その性能を継承した新たな31Bモデルが完成した。

独自の学習手法とロングコンテキストへの対応

1200億パラメータを持つ「plamo-3-nict-2604-120b-base」（以下、120Bモデル）の学習においては、「weight reusing（ウェイト・リユージング：既存の学習済みモデルの重みを拡張して初期値として再利用する技術）」という手法が用いられた。これは「PLaMo 3 31B」の重みを初期値として120Bモデルの事前学習を行うもので、2025年11月頃に実施された。

一方、310億パラメータを持つ「plamo-3-nict-2604-31b-base」（以下、31B蒸留モデル）は、前述の120Bモデルの知識を「蒸留（大規模モデルの知識や判断基準を、処理負担の軽い小規模モデルに引き継がせる学習手法）」することで開発された。

また、両モデルともに、長い文章の入力を可能にする「long context（ロングコンテキスト）」対応を目的とした継続事前学習（一度学習を終えたモデルに追加のデータを与えてさらに能力を高めるプロセス）が施されている。

ベンチマーク評価と海外モデルとの比較

開発チームは、新モデルの実力を評価するため、日本語生成、知識、コーディング、翻訳の4ジャンルにわたる複数のベンチマーク（AIモデルの性能を測定するための標準テスト）を用いて測定を行った。

比較対象には、学習時に投入された計算量が同等レベルであるグーグルの「Gemma 3 PT 27B」や、Alibabaの「Qwen3-8B-Base」が選ばれた。投入計算量は、モデルサイズと学習トークン数（AIが学習したテキストの最小単位の数）に基づいて算出されている。これらに加え、参考情報として、より多くの計算量を投入して学習された事後学習済みモデル「Qwen3-32B」の結果も掲載されている。

測定されたベンチマークのスコア

評価結果において、120Bモデルはすべてのテストで従来モデル（8B、31B）を明確に上回るスコアを記録した。モデルサイズの拡大と計算量の増加が順調に性能向上につながっている。

日本語文章の生成能力を評価する「pfgen-bench」において、120Bモデルは「0.83」という高いスコアを記録した。これは、同等計算量の「Qwen3-8B-Base」（0.55）や「Gemma 3 PT 27B」（0.68）、さらに参考値である「Qwen3-32B」（0.63）を上回る。また、31B蒸留モデルも「0.78」を記録し、高い能力を示した。

知識評価用のテスト「JMMLU」や、質問応答タスク「JamC-QA」でも、120Bモデルはそれぞれ「0.77」、「0.69」を記録し、海外モデルと同等以上の水準を達成した。特にJamC-QAでは、計算量で勝るQwen3-32Bの「0.46」を大きく上回っている。

プログラミング能力を日本語の指示で評価する「JHumanEval」では、120Bモデルが「0.68」、31B蒸留モデルが「0.60」の精度を達成し、Qwen3-8B-Baseの「0.62」と同等の性能を示した。

さらに、日本語が関わる翻訳性能（WMT23、WMT24）では、120Bモデルが英語から日本語への翻訳でWMT23で27.01、WMT24で31.26を出し、比較対象のモデルを上回る性能を見せた。日本語比率が高いタスクにおける国産モデルの強みが実証された形だ。

計算量と性能の相関関係と今後の見通し

一方で、「MMLU-ProX ja」や「JHumanEval」といった一部のテストにおいては、参考値である「Qwen3-32B」が依然として優位にあることが確認された。これについてPFNは、投入した総計算量とベンチマークスコアの相関関係をグラフ化して分析している。

その結果、これらの性能スコアは投入された計算量にほぼ比例する傾向が見られるという。今回開発された120Bモデルは一部のテストでQwen3-32Bに劣るものの、今後さらに計算資源（学習トークン数など）を増やして投入計算量を高めることで、同等以上の性能水準へと到達できる可能性が示されている。PFNとNICTは、この分析結果をもとにさらなる高性能化と実用化に向けた取り組みを進めていく方針だ。