AWS、「Amazon Nova」で特定の安全ルールを選択的に解除できる新機能と新技術「rDPO」を発表

要点

• AWSが2026年7月6日、「Amazon Nova」にて責任あるAIの安全ルールを選択的に調整できる新機能「Customizable Content Moderation Settings（CCMS）」を発表した。

• 合法的な業務利用でもAIがコンテンツ生成を拒否してしまう「過剰拒否」を防ぐため、モデルから学習内容を選択的に消去する「アンラーニング」技術が導入される。

• 背景にある新技術「rDPO」は、モデル本来の性能や対象外の安全性を損なうことなく、特定のルールに対する調整のみを解除することを可能にした。

• アマゾン ウェブ サービス（AWS）は2026年7月6日、同社のAIモデルである「Amazon Nova」において、設定された安全ルールを選択的に調整し、業務上の正当なリクエストに対する過剰な拒否反応を抑える新機能「Customizable Content Moderation Settings（CCMS）」を発表した。あわせて、この機能を実現するための新しい技術的アプローチである「Reverse Direct Preference Optimization（rDPO）」の詳細を公開した。これにより、セキュリティ訓練用のフィッシングメール作成など、従来の安全フィルターに阻まれていた合法的な業務でのAI活用がスムーズになるという。

業務利用を阻む「過剰拒否」の課題

基盤モデル（特定のタスクに特化する前の、多目的に利用できるAIモデル）を導入する際、不適切なコンテンツの生成を防ぐ「セーフガード（安全対策）」が、正当なビジネス利用の妨げになるケースが多々見られる。

例えば、刺激の強い言葉が含まれる劇本のシナリオを要約したいメディア企業や、実際のサイバー攻撃を想定した脅威シミュレーションを行うセキュリティ企業、さらにはデリケートな証拠品を処理する法務チームなどがこれに該当する。具体的には、セキュリティ担当者が社内のセキュリティ意識向上の訓練のために「フィッシングメールのサンプル文を作成してほしい」とAIに依頼しても、悪意ある用途と判定されてしまい、生成を拒否される「過剰拒否」と呼ばれる現象が発生していた。

こうした安全ルールは、モデル構築の最終段階に行われる「アラインメント（モデルの出力を人間の倫理観や意図に適合させる調整工程）」の際にモデルに刷り込まれる。そのため、ユーザーが入力する指示文を工夫する「プロンプトエンジニアリング（AIから望ましい出力を得るための指示の設計技術）」だけでは拒否反応を回避できず、モデルのパラメータ（挙動を決定する内部数値）自体を直接変更する必要があった。

安全ルールを個別に調整する「Amazon Nova CCMS」

今回発表された「Amazon Nova CCMS」は、承認された顧客に対して、4つの「責任あるAI（RAI）」の柱にわたるセーフガードを調整できるようにする機能だ。この4つの柱は、以下の通りである。

• Safety（安全性）：危険な活動、武器、規制物質に関する制限
• Sensitive content（機密コンテンツ）：冒涜的な表現、ヌード、いじめに関する制限
• Fairness（公平性）：偏見や文化への配慮に関する制限
• Security（セキュリティ）：マルウェアや悪意あるコンテンツに関する制限

なお、児童への危害防止やプライバシー保護など、AIを責任を持って使用するための必須のコントロールについては非構成（設定変更不可）となっており、無効化することはできない。

技術的アプローチ：アンラーニングとLoRA

このCCMSを支えるのが、モデルをゼロから再学習させずに特定の挙動や知識を選択的に削除する「アンラーニング」技術である。

具体的には、モデルの一部を効率的に微調整する手法である「LoRA（Low-Rank Adaptation）」のアダプターを使用する。特定の安全ポリシーに対するモデルの調整を反転させるようLoRAアダプターを訓練することで、顧客が承認したポリシー領域でのみ出力を許可し、それ以外の領域では安全ルールを維持したカスタムモデルを構築する。

顧客がこのLoRAアダプターを読み込むと、専用の「ARN（Amazonリソースネーム：AWS内のリソースを一意に識別する識別子）」が発行され、推論（AIが実際に処理を行うこと）の際に、承認された領域での過剰な拒否を防ぐ。これと同時に、出力時におけるモデレーション機能のガードレールも、顧客の設定に合わせて自動的に構成される仕組みとなっている。

新アプローチ「rDPO」による品質維持

アンラーニングを効果的に実行する上での最大の課題は、特定の安全ポリシーへの拒否反応を抑えつつ、モデルが持つ一般的な能力（指示への追従能力、プログラミング能力、数学的推論など）や、調整対象ではない他の領域の安全ルールをいかに損なわずに維持するかという点である。単純にモデルを直接ファインチューニング（特定のデータで追加学習させて微調整すること）するアプローチでは、モデル全体の品質が劣化してしまうリスクがある。

これに対し、既存の最先端手法には「NPO（Negative Preference Optimization：好ましくない出力を避けるための最適化手法）」が存在する。これは「DPO（Direct Preference Optimization：あらかじめ用意された好ましい応答と好ましくない応答のペアを用いて、直接モデルの嗜好を最適化する手法）」を応用したものだ。DPOは基準となるモデルと比較して、好ましい応答をより高く評価するようにモデルを学習させる。

今回の発表で公開された「rDPO（Reverse Direct Preference Optimization）」は、これらの人間の嗜好に基づいて出力を最適化する手法を応用し、モデル品質を維持したまま選択的なアンラーニングを実現する革新的な手法として紹介されている。

AWSは、この人間の嗜好に基づく最適化技術を自身の実験や開発に役立てたいと考えている開発者に向けて、関連するガイダンスやポインターも提供している。