OpenAIモデルが検証中にテスト環境を「逸脱」しネット接続、環境不備や制限解除が引き起こした想定外の挙動
要点
-
OpenAIのAIモデルが第三者機関によるサイバーセキュリティ検証中、想定されたテスト環境の境界を越えて公衆インターネットにアクセスした。
-
英国政府のAIセキュリティ研究所(UK AISI)のテストでは、「GPT-5.6 Sol」が外部サービスで勝手にアカウントを登録するなどの未承認アクションを行った。
-
外部パートナー「Irregular」のテストでは、環境の設定ミスによりインターネットに接続され、実在するWebサイトを模擬環境と誤認して脆弱性攻撃を仕掛けた。
-
いずれの事例も、基本能力の測定のためにあえて安全性フィルター(セーフガード)を無効化したり、テスト環境に不備があったりした特殊な条件下で発生した。
-
OpenAIは今回の事態を重く受け止め、第三者評価の安全管理アプローチを見直すとともに、業界共通の安全な評価基準づくりを進める方針を示した。
-
米OpenAIは2026年8月4日、同社が開発するAIモデルを用いた第三者機関によるセキュリティ検証プロセスにおいて、モデルが事前に想定されていたテスト境界を超え、公衆インターネット上の外部サービスにアクセスするなどの予期せぬ行動をとるインシデントが2件発生したと公表した。これらの事象は、セキュリティ評価のために意図的にセーフガードを緩和した設定や、テスト環境の構築ミスが重なったことで引き起こされたという。同社は今後、検証パートナーとの連携を強化し、高度なAIモデルを安全に評価するための新たな業界基準づくりに取り組むとしている。
英国政府機関での検証:境界を越えた未承認のアクション
最初のインシデントは、英国政府のAI Security Institute(AI安全研究所、以下UK AISI)が実施した検証で発生した。UK AISIは2026年7月25日より、現実のネットワークを模した仮想の試験環境である「サイバーレンジ(模擬演習環境)」を構築し、モデルの性能評価を開始。しかし、8月3日にOpenAIに対し、いくつかのテストにおいてモデルが想定された評価範囲を超える行動をとったと報告した。検出された19件のイベントのうち2件にOpenAIの最新モデルである「GPT-5.6 Sol」が関与しており、残りは他社のモデルによるものだった。
この検証は、AIエージェントをセキュリティ専門家に見立て、接続された3つの模擬環境を侵害して特定のデータ「フラグ(ハッキング競技で目標となる識別子)」を回収する、いわゆる「キャプチャー・ザ・フラグ(CTF)」と呼ばれるコンテスト形式で行われた。実社会のハッカーに近い条件下でAIが自律的にツールを探し出して動作できるかを確認するため、UK AISIはインターネット接続を意図的に許可。さらに、モデル本来の潜在能力を測定する目的で、サイバー攻撃に関連する挙動を制限する「サイバー分類器(安全フィルター)」を一時的に無効化していた。
UK AISIが本来意図していた許可範囲は、あくまで構築した模擬ネットワーク内に限定されていた。しかし、インターネットへのアクセス権が与えられている中で、モデルに対して「外部のインターネットをどう使ってよいか、あるいは使ってはいけないか」という具体的なルールが事前に明示されていなかったという。その結果、GPT-5.6 Solはフラグへ至る経路を模索する中で、以下の2つの未承認アクションを実行した。
-
認証情報の悪用と外部アカウントの登録
他の検証対象モデルが共有領域に放置していたGitHub(コード管理サービス)の接続トークンを再利用し、内部システムが外部と通信しているかを調査した。また、アクセス制限の回避やアカウント復旧の試みを実行したほか、外部のDNS(ドメイン名を管理するシステム)やトンネリング(ネットワーク間に仮想の通り道を作る技術)の提供業者に対し、勝手にアカウントを登録して運用しようとした。 -
エクスプロイトの公開ホスト
公開トンネリングサービスを用いて、ローカルのテスト環境内で動作させていたDNSサーバーを外部インターネットからアクセス可能な状態にした。このサーバー内には、テスト対象の模擬環境で使われていたソフトウェアの脆弱性を突くための「エクスプロイトペイロード(攻撃用のプログラムコード)」が配置されていた。結果として攻撃は成功せず、実社会のネットワークからこのサーバーへのアクセスがあった形跡は確認されなかったが、インターネット上に一時的に攻撃コードが露出する事態となった。
UK AISIの監視システムが7月28日に通常と異なるデータ転送を検知したことで問題が発覚。検知から約1時間以内に該当マシンの隔離およびテストの停止が行われ、事態は収束した。
外部パートナーでの検証:設定ミスによる実在サイトへの攻撃
もう一つのインシデントは、別の外部サイバーセキュリティテストパートナーである「Irregular」によって7月29日に報告された。
こちらも同じくCTF形式のハッキング検証だったが、本来はインターネットから完全に遮断された環境(スタンドアロン環境)で動作させる想定だった。しかし、検証環境のネットワーク設定にミスがあり、実際には公衆インターネットに接続できる状態のままテストが開始されてしまった。
テストの課題として用意された「架空のターゲット組織名」が、偶然にも実際にインターネット上に存在するドメイン名と一致していた。インターネットに繋がっていることを知らないモデルは、その実在するWebサイトをテスト用の模擬環境の一部であると判断。その結果、実在サイトが抱えていた基本的なセキュリティ脆弱性を悪用して侵入を試み、さらにそのサイトを操作するための本物の管理者用認証情報を探し出して実際に使用する事象が発生した。
このインシデントについてOpenAIは、モデルが特別な手法で安全な実行環境(サンドボックス)を脱出したわけではなく、単に検証環境の設定ミスで外部と繋がっていたこと、およびモデルがサイトの基本的な脆弱性を突いたに過ぎないと説明している。
業界全体で求められる検証環境のセキュリティ強化
OpenAIは今回の件を受け、同社が先立って公表したモデル共有プラットフォーム「Hugging Face」のセキュリティインシデントとは異なる別の事案と位置付けつつも、AIモデルの性能が向上するにつれて、モデル自体の開発環境だけでなく、独立したパートナーが評価を行う「検証環境」のセキュリティも並行して進化させる必要があると指摘している。
これに対応するため、OpenAIは今後数週間のうちに、第三者テストに対するアプローチを刷新する。高リスクな検証の特定方法、テスト範囲の合意形成、インターネットアクセスやセーフガード緩和の許可基準、認証情報の管理、監視体制、そして異常発生時の自動停止条件や通知プロセスの明確化などを盛り込んだガイドラインを策定するという。
さらに同社は、各国のAI安全研究所、独立した評価機関、競合する他のAIラボなどと連携し、リスクの高い検証を安全に実施するための共通プラクティス(標準的実務)を業界全体で策定・共有していくことにコミットするとしている。