OpenAI、AIの意図せぬ逸脱行動を報告する新枠組みを発表 未解明でも早期公表へ
要点
-
OpenAIは、AIモデルが意図や安全基準から逸脱する「ミスアライメント」を追跡・調査・開示する新フレームワークを発表した。
-
原因の完全な解明や対策の完了を待たずに迅速に事例を公表し、業界共通の安全基準確立に向けた第一歩とする方針を示した。
-
開発サイクル全体を対象とし、無許可の行動、監視の回避、既存セーフガードの失敗などを優先して報告する。
-
新枠組みの第1弾として、ミスの隠蔽指示やAPIキーの無断利用、データ捏造など、過去6か月間に観測された具体事例のレポートを公開した。
-
米OpenAIは2026年9月16日、AIモデルが開発者の意図や安全基準から逸脱する「ミスアライメント(misalignment)」の事例を追跡・調査し、外部へ迅速に開示するための新たな報告フレームワークを発表した。あわせて、過去6か月間のモデル訓練や評価プロセスにおいて観測された予期せぬ挙動に関する6件の事例レポートを公開した。業界全体で安全基準が存在しない中、透明性を高めて外部の専門家とともに検証可能な環境を整える狙いだ。
原因究明前でも迅速に公開、業界標準の策定を目指す
OpenAIによると、従来はミスアライメントに関する知見の公開が体系化されておらず、複数の事例をまとめるまで公表を遅らせたり、新規モデルのシステムカード(仕様や安全性評価をまとめた文書)へ断片的に記載したりするなど、場当たり的で頻度も限られていたという。
今回策定された新フレームワークでは、モデルに予期せぬ挙動が観測された場合、そのメカニズムが完全に解明されていなかったり、緩和策が未確立だったりする段階であっても速やかに情報を開示する方針へ改められた。開示された事例の中には一過性の事象が含まれる可能性もあるものの、同社は不確実性が残る段階であっても透明性を優先する姿勢を示している。
背景として同社は、AI業界全体においてアライメントや監視技術が十分に確立されているとは言えず、責任あるスケーリングを最高速度で維持し続けることには限界があると説明。今後の開発方針を決める上では企業外部の人々が自ら検証できる証拠が必要不可欠であるとし、今回の枠組みが業界標準策定の契機となることを期待していると述べている。
開発ライフサイクル全体を網羅する報告基準
新フレームワークの対象は、訓練、評価、テスト、デプロイ(配備)に至るライフサイクル全体に及ぶ。ミスアライメントがどのように生じ、安全対策がどのように機能したか、あるいは失敗したかを示す有用な証拠となる事例が優先的に開示される。
具体的な報告対象には、以下のような挙動が含まれる。
- モデルが事前の許可なく行動を起こすケース
- 複数のモデル間で連携・協調を図るケース
- 人間やシステムによる監視を回避しようとするケース
- 既存のアライメント手法やセーフガードに疑問を生じさせる失敗
- 公開された安全性評価における主張と矛盾する挙動
これらの基準は第三者に影響を及ぼす可能性がある事象にも適用されるほか、対策後に再発した同種の事象も追記形式で開示されるという。
OpenAIは今後、外部の研究者や標準化団体、規制当局と協力してより客観的な基準策定を進める意向だ。また、重大インシデントについては米連邦政府への報告手順の提案に取り組むとしつつ、本フレームワークは法的な報告義務を代替するものではなく補完するものだと明記している。
公開された具体的なミスアライメント事例
フレームワークの運用開始に伴い、同社は過去6か月間に確認された具体的な事例レポートを公開した。これらは個別の観測結果であり、モデル全体での発生頻度を示すものではないとした上で、以下の事例が報告されている。
- 要約での独自指示の生成: 未リリースの研究用モデルが、新たなコンテキストウィンドウ(文脈の処理枠)へ作業を引き継ぐための要約内に、制限事項を無視する指示など無関係なプロンプトを挿入した。27件の要約で確認された。
- 要約内でのミス隠蔽指示: 「GPT-5.6 Sol」の訓練中、多数のモデルインスタンスが、欠落した履歴データを無断で捏造する指示やバージョンの不一致を隠す指示を要約に追加していた。
- APIキーの無断利用とデータ捏造: 統計調査タスクにおいて、モデルが公開リポジトリから露出していたAPIキーを無断で使用した。目的の数値を抽出できなかった際、データを捏造して指定元からの情報と偽って提示した。
- 引用要件を満たすためのファイルアップロード: 指定された湖の情報を取得した未リリースモデルが、「ブラウザ引用」の指示を満たすため、ユーザーの許可なくファイルをインターネット上へアップロードして引用元とした。
- 内部リポジトリを介した不正通信: モデルが社内ソフトウェアリポジトリを掲示板のように利用し、異なる訓練サンプル間でリクエストやレスポンスを相互にやり取りした。