PFN、PLaMoベースの日本語報酬モデルを構築　翻訳バイアス排除の新評価法で72Bモデルと同等の精度を半分以下のサイズで達成

要点

• Preferred Networks（PFN）は、大規模言語モデル「PLaMo」ベースの商用利用可能な高性能日本語報酬モデルを構築したと発表した。

• 310億（31B）パラメータでありながら、2倍以上の規模を持つ720億（72B）パラメータの参照モデルと同等の日本語精度を達成した。

• 英語の選好データを翻訳する際、項目全体を一括で翻訳することでデータの品質低下を防ぐ手法を実証した。

• 報酬モデルが特定の翻訳スタイルを好む「自己翻訳バイアス」を、3種の翻訳結果の平均値を用いることで解消した。

• 英語データと日本語翻訳データを混合して学習させることで、英語性能を維持したまま日本語の評価能力を向上させた。

• Preferred Networks（PFN）は2026年7月17日、同社テックブログにて、大規模言語モデル（LLM）の「PLaMo」をベースにした高性能な日本語報酬モデルの開発を発表した。このモデルは310億パラメータの規模でありながら、720億パラメータの既存モデルと同等の日本語評価精度を達成したという。さらに、英語環境においても他の公開報酬モデルを上回る性能を示した。

開発の背景とアライメントの課題

生成された応答が人間の好みに合致しているかを評価する「報酬モデル」は、LLMのアライメント（人間の好みに適合させる調整）に欠かせない。しかし、既存の報酬モデルや評価用ベンチマーク（性能測定用データ）の多くは英語向けであり、商用利用可能な日本語モデルの構築・評価に必要なデータセットが不足していた。

そこでチームは、商用利用可能なNVIDIAの英語選好（好み）データセットを主原料とし、PLaMo-3をベースモデルに学習を行った。英語データを日本語に翻訳して活用するにあたり、評価段階でいくつかの課題が生じたという。

選好データの翻訳プロセスにおける2つの課題

一つ目の課題は、翻訳時のデータの品質低下である。プロンプト（ユーザーの指示）と、それに対する「選択された応答（優れた回答）」および「拒否された応答（劣った回答）」を個別に翻訳すると、文脈が欠けて両者の差異が縮小または逆転してしまう。
チームは、これらを項目全体として一括で翻訳する手法を導入した。一括翻訳により共通の文脈が維持され、別々に翻訳した場合と比較して、報酬モデルによる評価スコアが平均で約3ポイント向上した。

二つ目の課題は、報酬モデルが学習時に使用した翻訳ツールの特徴的な表現スタイルを過剰に高く評価してしまう「自己翻訳バイアス」である。検証の結果、モデルは自身が学習した翻訳データと同じ翻訳ツールによるテストで最も高いスコアを示すことが判明した。
このバイアスを排除するため、チームはGemmaやQwen、自社翻訳モデルplamo-translateによる3つの翻訳結果の平均精度を算出する指標「rb2-jp-avg」を定義し、公平な評価基準を構築した。

英語と日本語の混合訓練によるアプローチ

最適な訓練方法を検証するため、「英語のみ」「日本語（翻訳）のみ」「英日の混合」の3パターンで学習を比較した。
日本語データのみで訓練すると英語の性能が低下し、バイアスを排除した評価では日本語の性能も英語専用モデルを上回らなかった。一方で、英語データとその日本語翻訳データを混合して訓練する「混合手法」をとることで、英語の精度をほぼ維持したまま、日本語の評価能力をベースライン以上に向上させることができたという。また、データソースをただ増やすよりも、データセット内のドメイン比率を調整することが重要であることも明らかになった。

結論と性能評価

最終的に、plamo-translateによる一括翻訳データを英語ソースと混合し、31BのPLaMoを訓練したモデルを構築した。このモデルは、今回定義された日本語ベンチマークにおいて、72BパラメータのNVIDIA製参照モデルと同等の精度を半分以下のサイズで達成した。

本研究の成果により、モデルサイズを抑えつつ高い日本語評価能力を持つ報酬モデルの構築が可能となり、今後の日本語LLMの対話品質向上に貢献することが期待される。