トピック全体の一律遮断から有害な一部の精密拒絶へ、Multiverse ComputingがLLM安全性制御の新研究を発表

要点

• Multiverse Computingの研究チームが、大規模言語モデル（LLM）における安全性拒絶の境界制御に関する研究論文を公開した。

• 従来のトピック単位の一律拒絶に対し、同一トピック内の有害な部分のみを拒絶し無害な質問には回答を維持する「狭い境界の安全性」を提唱した。

• 政治分野などを例に、事実に関する質問と世論誘導の境界を精密に切り分ける必要性を指摘している。

• 既存の自己生成型安全性調整手法には、適切な拒絶データが欠落するカバレッジギャップなどの課題があることを明らかにした。

• Multiverse Computingの研究チームは2026年9月8日、大規模言語モデル（LLM）の安全性制御において、特定のトピック全体を一律に拒絶するのではなく、有害な特定の一部（サブセット）のみを拒絶する手法に関する研究論文『Safety for Whom? Boundary-Aware Self-Distillation for Controlled LLM Safety Refusal』を公式ブログで発表した。モデルの過剰な拒絶を防ぎつつ、用途に応じた安全性の境界線を精密に制御するための課題と検証結果が報告されている。

従来のトピック単位による安全性制御とその課題

これまで行われてきたLLMの安全性アライメント（モデルの出力を人間の意図や安全基準に適合させる調整技術）の多くは、危害を「トピック固有の属性」として扱ってきたという。兵器や詐欺、自傷行為といった一般的なカテゴリに該当するプロンプト（AIに対する入力指示）を一律に有害とみなす手法であり、Metaの「LlamaGuard-3」のような安全ガードモデルも、こうしたトピック単位の分類体系を組み込んで設計されている。

しかし研究チームによると、このようなトピック単位の制御では、危険に見える単語が含まれているだけで無害なプロンプトまで拒絶してしまう過剰防御が発生するという。この失敗モードは「XSTest」や「OR-Bench」といったベンチマークで検証されており、拒絶のキャリブレーション（調整）によって過剰拒絶の発生率を引き下げる試みが続けられてきた。

さらに、実際の運用現場において、トピック単位の分類は適合しにくい実態があると指摘している。同一のベースモデルであっても、汎用アシスタント、教育向け製品、エンタープライズシステム、公共部門向けサービスなど、展開される用途ごとに同一トピック内で求められる境界線が異なるためである。例えば「政治」というトピックにおいて、市民教育用ツールと公共機関のアシスタントは同一モデルを利用しながらも異なる挙動が求められる場合がある。どちらも選挙に関する事実関係の質問には回答すべきであるが、特定の対象を狙った政治的世論誘導やマニピュレーション（操作）の生成依頼に対しては、特定の用途において拒絶が必要となる。LlamaGuard-3などのトピック単位のガードでは、選挙に関する規定が「選挙制度やプロセスに関する事実と異なる情報」などに限定されており、説得や操作が除外される一方で、運用上回答を維持すべき事実に基づくプロンプトまで排除されてしまうなど、繊細な切り分けを表現できないと説明している。

有害な領域のみを切り分ける「狭い境界の安全性」

研究チームは今回の論文において、トピック全体を拒絶すべきか否かではなく、「トピック内のどのサブセットが特定の展開ポリシーと相容れないか」、そして「その境界に対してモデルをどのように訓練し測定するか」という、より焦点を絞った問題に取り組んだ。

本研究ではこの設定を「狭い境界の安全性（Narrow-boundary safety）」として形式化している。実験ではすべての政治的プロンプトを「トピック全体」と定義し、その中に運用側が拒絶したい「対象有害サブセット」が含まれている構造を想定している。目指すべきポリシーは、政治全体を拒絶することではなく、有害なサブセットのみを拒絶しながら、それ以外の無害な領域に対しては回答を継続することであるという。

理想的な挙動は、有害サブセットの内側では完全に拒絶し、トピック内のそれ以外の場所ではすべて回答するという、急峻なステップ関数のような切り替えである。しかし、訓練されたモデルはそのような急峻な境界を直接学習することはできず、近似された滑らかな拒絶確率を学習することになる。このため、有害サブセットに対する拒絶確率を引き上げるクロスエントロピー学習（予測と正解の誤差を最小化する損失関数を用いた訓練）を行うと、境界付近において拒絶の傾向が無害な領域にまで波及（オーバーシュート）してしまう課題が生じるという。

研究チームは、単に有害プロンプトに対する拒絶率を高めるだけでなく、境界付近での挙動を適切に形成することが真の課題であると述べている。この境界を具体的に定義・操作するため、研究では同一のトピックアンカーを共有しながら「意図」のみが異なるプロンプトのペア（拒絶すべきプロンプトと回答すべきプロンプト）を用意した。実験のテストベッドとしては、操作的な世論誘導が実質的な危害をもたらす一方で、事実に基づく政治情報は正当なものとして回答が求められる「政治的説得」が選定されている。

自己生成型チューニングにおける弱点の露呈

こうした境界制御のための訓練データを構築する手法として、ターゲットモデル自身を利用して各有害プロンプトに対する拒絶応答を生成させ、ガードモデルによって真正な拒絶であると検証されたトレース（生成ログ）を学習データとして採用する「自己生成（Self-generation）」のアプローチが存在する。これは「ThinkSafe」などの先行手法で採用されている標準的な枠組みであり、本研究でも政治プロンプトに適用してコンポーネントごとに測定する参照手法として採用された。

しかし、問題をトピック単位ではなく「境界」として捉えた場合、この標準的なパイプラインに弱点が存在することが明らかになったという。

指摘された弱点の1つが「カバレッジギャップ（網羅性の欠落）」である。単一試行のステアリング（指示調整）では必ずしも検証を通過する拒絶応答が生成されるとは限らず、生成に失敗したプロンプトは訓練セットから暗黙のうちに脱落してしまう。研究チームが監査したデータプールにおいても、単発の生成試行では訓練データへの反映に偏りや欠落が生じる課題が確認されたとしている。