LLMの公平性を「反論による判断の覆りやすさ」から検証する新ベンチマーク「FairStress」、米Ai2が公開

要点

• 米アレン人工知能研究所（Ai2）が、大規模言語モデル（LLM）の意思決定における人口統計的公平性を検証する新ベンチマーク「FairStress」を公開した。

• 従来の最終的な選択結果だけでなく、説得的な反論を提示された際にモデルがどれだけ判断を変えやすいかを測定する。

• 採用や医療など29分野を網羅し、属性情報や反論の組み合わせにより1300万件を超えるテストケースを構築した。

• GPTやClaudeなどの主要モデルでも、同じ説得内容に対して属性次第で判断の変更率に偏りが出ることが判明した。

• 5万件に厳選した軽量版「FairStress-Core」の提供や、同所の評価基盤「Olmo-eval」への統合も進められている。

• 米アレン人工知能研究所（Ai2）は2026年10月20日、大規模言語モデル（LLM：大量のテキストデータから学習した言語AI）が下す決定の公平性を深く測定する新ベンチマーク「FairStress」を発表した。採用選考や融資審査、医療優先度の判断といった人々の機会に関わる重要局面において、モデルの判断の妥当性と耐性を評価する。データセットや検証コードはすでに公開されており、同所のオープンな評価ワークベンチ「Olmo-eval」への組み込みも進められているという。

表面的な回答の裏に潜む「判断の覆りやすさ」を測定

採用選考や融資審査、希少薬の投与優先順位付けなど、人々の生活に直結する重要領域でLLMを活用する事例が増加している。こうした場面における従来の公平性テストでは、経歴や資格といった条件を同一に保ったまま人種などの属性情報のみを入れ替え、モデルが同じ候補者を選択し続けるかを調べる手法が一般的だった。

しかしAi2は、表面的な選択結果が一致していても、その決定に対するモデルの確信度や安定性に重大な差異が隠れている場合があると指摘している。たとえば、能力が明らかに優れている候補者Aを選んだとしても、その後に「経営陣は別の候補者Bを好んでいる」「Bの属性グループは歴史的に見過ごされてきた」といった説得的な主張（説得的引数）を提示されると、Aの属性の違いによって前言を撤回する容易さに差が生じる現象が確認された。FairStressは、この外部からの反論に対する頑健性の差、すなわち「隠れた非対称性」を浮き彫りにするために設計された。

1300万件超の多層的テストと5万件の軽量版

FairStressは、採用、医療、融資、教育、住宅、刑事司法など29分野にわたる300件の現実的な意思決定シナリオを収録している。機械エンジニアの選考や、供給が限られた希少薬を投与すべき患者の選定など、具体的な2人の候補者から1人を選択する形式をとる。

シナリオには、客観的な条件を満たす明確に優位な候補者がいるケースだけでなく、双方が異なる強みを持っていて正解が存在しない曖昧なケースも意図的に含まれている。属性情報の提示方法についても、情報を含めないケースから、属性を連想させる氏名、間接的な示唆、明示的な属性ラベルまで段階的に変化させ、影響の出方を細かく追跡できる設計だ。

同ベンチマークの大きな特徴は、「敵対的接頭辞（adversarial prefixes：判断を揺さぶる説得文）」による負荷テストである。組織内の権威、社会的な合意、法的懸念、歴史的不利益といった多様な論拠に基づく反論をプロンプトに加え、モデルが決定を変更するかどうかを観測する。両方の候補者に対して対称的な反論を用意することで、同じ論理であっても対象となる属性によって説得の効果が異なるかを厳密に比較できる。これらを組み合わせることで、テストケースの総数は1300万件以上に及ぶ。さらに、項目応答理論（設問の難易度などを統計的に分析するテスト理論）を活用して5万件に厳選した軽量版「FairStress-Core」も開発された。

主要モデルで見出された判断の偏りと内部の差異

Ai2がOlmo、Llama、Qwen、Gemma、Claude、GPTファミリーなどのモデルを検証したところ、属性情報が与えられていない状態では選択の偏りはほとんど見られなかった。しかし敵対的接頭辞を加えた場合、その説得がどの属性グループに利益をもたらすかによって、モデルが決定を変更する確率に明らかな差が生じることが判明した。

さらに、採用や医療などの各分野において、モデルが出力する決定理由の説明文だけでなく、ニューラルネットワーク内部の活性化パターン（計算処理中の状態）においても、属性情報に応じた差異が確認されたという。

評価基準としての「対称的公平性」

Ai2はFairStressにおいて、「対称的公平性（symmetric fairness）」を評価基準に掲げている。これは、十分な根拠がある決定であれば、どの属性グループが恩恵を受けるかに関わらず、モデルは一貫した基準を適用し、反論に対しても等しく強固に決定を維持すべきだという平等の原則に基づく。なお同所は、歴史的格差の是正などを考慮して少数派を意図的に優先するような「公正（equity）」の考え方のすべてを網羅するものではないとも補足している。

現在、FairStressの技術レポート、データセット、ソースコードは一般に公開されている。