LLMベンチマークが実際に測定している能力を特定する新手法「BenchMIRT」をAi2が発表

要点

• 米Allen Institute for AI（Ai2）が、LLMベンチマークの各問題を詳細に監査・分析する新手法「BenchMIRT」を発表した。

• 心理測定学の多次元項目応答理論（MIRT）を応用し、1つのテスト問題に含まれる複数の能力シグナルを分離して評価できる。

• 100種類のLLMと16種類のベンチマークに及ぶ3万4,000問以上のデータを分析し、事前情報なしで「安全性」と「一般的推論」の2大次元を自律検出した。

• 「BBQ」や「WMDP」といった一部の安全性テストにおいて、安全性よりも一般的推論能力がスコアに強く反映されている実態が判明した。

• 米国のAI研究機関Allen Institute for AI（Ai2）は2026年9月1日、大規模言語モデル（LLM）のベンチマークテストが実際にどのような能力を測定しているかを問題単位で検証・監査する新手法「BenchMIRT」を発表した。Hugging Faceの公式ブログ等で公開された技術レポートによると、心理測定学の手法を用いることで、従来の単一スコアに混在していた複数の潜在能力を分離して可視化できるという。本研究に関する技術レポート、評価データセット、コードは一般に公開されている。

単一スコアでは見えにくい複数能力の混在

LLMの性能評価では、「安全性」「一般的推論能力」「指示追従」といった特定の能力を測る目的で各種ベンチマークが活用されている。しかし、個々のテスト問題や課題は、設計上の測定目的以外の能力にも依存している場合が少なくない。

例えば、モデルが社会的ステレオタイプに依存するかを検証するベンチマーク「BBQ」には、祖父と孫が配車サービス「Uber」を利用する場面を題材にした問題が含まれている。この問題は年齢に関するバイアスを調べる設計だが、同時にモデルが登場人物の関係性を正確に把握し、先入観ではなく提示された事実証拠から論理的に判断する推論能力も求められる。

また、安全性評価ベンチマーク「WildJailbreak」のように、有害な攻撃プロンプトと、無害な要求に対する過剰拒絶を調べるプロンプトが混在するテストもある。有害プロンプトへの対処は安全性と密接に関係する一方、無害なプロンプトへの適切な応答は一般的推論能力と強く関連している。これらを合算して平均スコアを算出すると、問題ごとの性質の違いが覆い隠されてしまうという課題があった。

心理測定学の「多次元項目応答理論」を応用

こうした測定シグナルを整理するため、BenchMIRTは心理測定学（テスト結果から人間の能力や特性を測定する学問分野）で用いられる「項目応答理論（Item Response Theory: IRT）」の手法を取り入れた。

項目応答理論は、「すべての問題が受験者について同等の情報をもたらすわけではなく、問題ごとに難易度や実力を識別する能力が異なる」という考え方に基づいている。先行研究では単一のベンチマークに対して1次元のIRTが適用されていたが、BenchMIRTではこれを「多次元項目応答理論（MIRT）」へと拡張した。これにより、1つの問題に対する回答に複数の能力が関与している場合でも、それぞれの能力シグナルを切り離して推定することが可能になった。

BenchMIRTはモデル側と問題側の双方を評価する。各モデルについてはテスト全体に反映された各能力の強さを算出し、各問題については難易度および各能力の高低をどれだけ適切に識別できるかを推定する仕組みとなっている。

100モデル・3.4万問の分析で2つの主要次元を自律特定

研究チームは、100種類のLLMを対象に、16種類のベンチマークと3万4,000問以上の問題データを用いてBenchMIRTの学習と分析を実施した。

対象となったベンチマークのうち6種類は一般的推論を測るもので、「MMLU-Pro」「GPQA」「MATH」「BBH」などが含まれる。残る10種類は同組織の「Olmo 3」安全性評価スイートに由来し、「HarmBench」「StrongReject」「WildJailbreak」「BBQ」「WMDP」「XSTest」などで構成されている。

分析にあたり、各ベンチマークがどの能力を測定しているかという事前情報は与えられなかった。それにもかかわらず、BenchMIRTはデータから自律的に「安全性」と「一般的推論」という2つの主要な次元を特定した。分析を最初からやり直しても同じ2次元が一貫して抽出されたことから、この結果は安定的であると説明されている。

BBQやWMDPの分析から判明した測定の実態

BenchMIRTによる解析では、多くのベンチマークで本来の設計意図が確認された一方、一部の評価では想定と異なる複雑な実態が明らかになった。

社会的バイアスを測定し通常は安全性分野に分類される「BBQ」は、分析の結果、安全性よりも一般的推論能力との関連がはるかに強いことが分かった。これは、BBQのスコアが低い場合、モデルの安全性だけでなく、問題文の理解や推論の難しさに起因している可能性があることを示している。

また、生物学、化学、サイバーセキュリティにおける危険なデュアルユース（軍民両用）知識を問う「WMDP」でも特異な傾向が観察された。WMDPのスコアは安全性より一般的推論能力と強く結びついていたが、一般的推論能力が高いモデルほどスコアが低くなるという関係性が示された。これは、危険な知識の提供を拒否または回答に失敗することが正解としてカウントされるベンチマーク設計によるものだという。

さらに、有害な指示への従属を調べる「HarmBench」では、フィッシングメール作成などの標準的・文脈付きの設問は安全性と連動した一方、楽曲「What a Wonderful World」の歌詞生成といった著作権関連の設問は一般的推論能力とより強く結びついていた。

評価スコアの解釈向上に向けて

研究チームは、今回の分析結果は既存のベンチマークに欠陥があることを直ちに意味するものではないと述べている。単一のテストスコアに複数の異なる能力シグナルが混在している実態をBenchMIRTによって解きほぐすことで、各ベンチマークのスコアが実際に何を意味しているのかを、より正確に解釈できるようになると説明している。