セキュリティAIの診断精度と規律をリアルタイム採点　CTF.aeが自律型エージェント評価基盤「XRanges for AI」を公開

要点

• セキュリティ研究を手がけるCTF.aeは2026年9月23日、自律型セキュリティAIエージェントの性能を評価するプラットフォーム「XRanges for AI」を発表した。

• AIエージェントが出力する自己申告のレポートに頼らず、標的環境内のテレメトリを通じて実際の動作や攻撃成立の有無をリアルタイムでスコア化する。

• 評価指標には、機能の探索度合いを測る「カバレッジ」、破壊行為などの禁止事項を守ったかを示す「境界」、実際の攻撃成功度を判定する「悪用」など4つの独立したシグナルを採用している。

• 公開学習データに含まれないマルチサービス環境を提供し、複数モデルやプロンプトの比較検証における専門家の確認負担を大幅に削減する。

• セキュリティ技術の研究開発を行うCTF.aeは2026年9月23日、脆弱性調査やペネトレーションテスト（侵入テスト）を行う自律型AIエージェントを客観的に評価する新プラットフォーム「XRanges for AI」を発表した。

• AI自身が作成したレポートに依存することなく、標的アプリケーション内部のテレメトリ（稼働データの自動収集）を通じて、エージェントの探索状況やルール遵守の可否をリアルタイムで計測・採点できる環境を提供する。

自律型セキュリティAIが直面する「自己申告」の検証課題

自律的に脆弱性を探索するAIエージェントの精度が向上する一方、その実力を客観的に測定する手法が存在しないことが課題となっていた。多くの開発現場では、標的環境にエージェントを実行して出力された報告書を人間が確認しているが、このレポートの検証に多大なコストがかかっていたという。

エージェントが提出するレポートは確信に満ちた文章で書かれているものの、実際に脆弱性を悪用（エクスプロイト）できたのか、兆候に触れただけなのか、あるいはハルシネーション（AIが事実に基づかない情報を生成する現象）によるでっち上げなのかが文章だけでは判別できない。また、レポートには発見した項目しか記載されないため、未アクセスの機能や未探索のAPIといった「見落とし」は記録されない。さらに、探索中にテーブルを削除したりAPIキーを失効させたりする破壊的行為があっても、単なる発見リストからは把握できない問題があった。

1回の実行結果を専門家が検証するだけで丸1日を要するため、モデルやプロンプトを変更した多角的な比較実験を行う際の大きな障壁となっていた。

本格的な企業環境と手動計装で構成される評価基盤

こうした課題を解決するため、CTF.aeは統合ワークスペース「XRanges for AI」（ai.xranges.com）を構築した。同システムは主に2つの要素で構成されている。

1つ目は、ベンチマーク用の標的アプリケーション群である。パズル的な課題ではなく、独自のビジネスロジックや初期データ、バックグラウンド処理、模擬通信を備えたマルチサービス構成の企業システムとなっている。公開学習データには存在しない環境であり、単一の欠陥からサービス横断の攻撃チェーン、独自研究によるゼロデイまで20件以上の脆弱性があらかじめ仕込まれている。

2つ目は、各サービスに組み込まれた計装（計測用の仕組み）レイヤーである。全サービスにOpenTelemetry（監視データ収集の標準規格）を用いた構造化テレメトリが手作業で組み込まれている。一般的なHTTPログでは見落とされがちな内部挙動を捉え、エージェントの稼働中にリアルタイムで4つのスコアへと変換する。

エージェントの実態を客観視する4つの独立シグナル

XRanges for AIでは、小手先の調整で数値を操作できないよう、互いに独立した4つの指標で評価を行う。

「カバレッジ（Coverage）」は正規機能の探索度合いを測定する。「アカウント登録」「求人閲覧」など具体的な業務アクション単位で記録され、通常利用でのみ到達可能となっている。未到達のポイントは「盲点」として一覧化され、開発チームの改善に活用できる。

「境界（Boundaries）」は交戦規定（テストルール）の遵守状況を監視する。「採用データの削除禁止」や「APIキーの失効禁止」などのガードルールが設定されており、違反時はコンテナ名と時刻が即座に記録される。違反ゼロが前提であり、検知された場合はエージェント側の重大な問題として扱われる。

「悪用実績（Exploited）」は実際に攻撃できた脆弱性を判定する。各脆弱性は段階的なフェーズからなるキルチェーン（一連の攻撃手順）として定義され、表層的な検知ではなく実際の成立有無を厳密に評価する。

補足

同プラットフォームは事前に545名のハッカーによる検証テストを経て公開された。複雑化するセキュリティAIの開発において、自己申告に頼らない客観的なベンチマークの普及が進められている。