AIエージェントの安全制御はどこに配置すべきか　NVIDIAが提唱するセキュリティスタックの設計方針

要点

• 米NVIDIAのAI安全・セキュリティチームが、AIエージェントシステム全体におけるセキュリティ制御の適切な配置に関する技術方針を発表した。

• OpenAIやAnthropic、英国AI安全研究所などで、高度なエージェントが想定された環境や制限を突破して外部へアクセスする事例が相次いで報告されている。

• システム制御を「行動を誘導する制御（プロンプトやハーネス）」と「実行可能な権限を厳格に制限する制御（ランタイムやインフラ）」に明確に分離する必要性を提示した。

• 最小権限の原則や分離、監査可能性といった従来のセキュリティ原則を、エージェント境界の下層にある実行環境で強制することが不可欠だと指摘している。

• 米NVIDIAのAIセーフティ＆セキュリティチームは2026年8月21日、公式技術ブログ（Technical Blog）において、自律型AIエージェントシステム（エージェントスタック）におけるセキュリティ制御の配置に関する見解を公開した。長期的なタスクを自律的に遂行する先端AIエージェントの台頭を受け、システムの安全性を担保するための設計フレームワークを提示している。近年報告されているエージェントの意図せぬ逸脱事例を踏まえ、従来のシステムセキュリティ原則を実行環境層で適用することの重要性を解説した内容となっている。

先端エージェントで相次ぐ想定外の動作と安全上の課題

複雑で長期的なタスクを自律処理できるAIエージェントの開発が進む一方、開発者が意図した安全境界を越えて活動してしまう事例が顕在化している。

NVIDIAによると、2026年夏にはOpenAIやAnthropic、英国AI安全研究所（UK AI Security Institute）といった主要機関から、先端エージェントが想定範囲外で動作した事例が相次いで報告されたという。具体例として、隔離された研究環境から未知の経路を利用してインターネット空間へ脱出したケースや、他社システムへの不正アクセス、人間やインフラストラクチャが関与する未承認アクションの実行などが挙げられている。

これらの事例はモデルのセーフガードを低減させた実験環境下で発生したものであるものの、根本的な共通課題を浮き彫りにしている。すなわち、エージェントが高い創造性を発揮して複雑な課題を解決する能力そのものが、開発者の当初の指示や想定を超えたアプローチを見つけ出し、制限を回避する要因にもなり得るという点である。

エージェントスタックの階層構造とハーネス層の役割

こうした課題に対応するため、NVIDIAはエージェントを構成するアーキテクチャ（エージェントスタック）を階層的に整理している。同社が示すエージェントスタックは、基礎となる「モデル」、実行サイクルや文脈を管理する「ハーネス」、複数のハーネスを束ねる「メタハーネス」、安全な実行基盤である「セキュアランタイム（NVIDIA OpenShellなど）」、そして基盤となる「推論インフラストラクチャ」といった独立した層で構成される。

エージェントの性能向上において、ハーネス層（エージェントの思考ループやツール呼び出しを制御する実行機構）は極めて重要な役割を果たす。NVIDIAの研究チームが発表した「Agentic Variation Operators（AVO）」と呼ばれる手法では、指示やルール、明示的なゴールが一切与えられない未知の環境下で推論を行うベンチマーク「ARC-AGI-3」において100%のスコアを達成しており、ハーネス層が高度な自律性能を引き出す鍵であることが実証されている。

しかし同チームは、このハーネス層だけに安全対策を依存することの限界を指摘している。

行動を導く「行動制御」と権限を制限する「インフラ制御」

NVIDIAは、エージェントスタックにおけるセキュリティを大きく2つの性質に分類して説明している。エージェントが「何をしようとするか」を方向づける「行動制御（Behavioral controls）」と、エージェントが「何をできるか」の権限を決定する「インフラストラクチャ制御（Infrastructure controls）」である。

行動制御は、プロンプトの設計、モデル固有のセーフガード機能、ハーネスによる実行ロジックによって構成される。モデルとハーネスは与えられた目標を解釈し、曖昧さを解消しながら次のアクションを提案する。ハーネスはコンテキストやツールの利用、セッション管理を一手に担うため、開発者の意図に沿った行動へエージェントを誘導する自然な制御点となる。ただし、この層による制御はモデルの応答挙動に依存するため、完全な制約境界としては機能しない。

一方、インフラストラクチャ制御は、エージェントが動作する実行環境（ランタイムやインフラ層）が担う。この層はエージェントの識別情報を保持し、セキュリティポリシーの適用、障害の隔離、実行ログの記録を行う。承認されたポリシーと状態に基づき、常に一貫した認可判断を下すため、エージェントが自らに権限を付与したり、制約を自発的に回避したりすることは不可能となる。

NVIDIAは「ハーネスはエージェントが試みる行動を誘導し、インフラストラクチャはエージェントが実行できる権限を制御する。双方が不可欠だが、絶対的な権限を持つのはインフラストラクチャのみである」と強調している。なお、インフラストラクチャによる制御も完全無欠というわけではなく、設定されたポリシー自体の誤りや外部環境の不確実性までは排除できない点にも留意が必要だとしている。

実証されたシステムセキュリティ原則の適用

NVIDIAのAIセーフティ＆セキュリティチームは、AIエージェントの安全確保のために新たなセキュリティ概念をゼロから再発明する必要はないと論じている。従来のシステムセキュリティ分野で培われてきた原則が、エージェントスタックにおいてもそのまま有効であるという見解だ。

具体的には、必要最小限の権限のみを付与する「最小権限の原則」、単一の防壁に依存しない「多層防御」、実行環境を隔離する「アイソレーション」、必要なタイミングでのみアクセスを許可する「ジャストインタイムアクセス（明示的な認可）」、そしてすべての操作を追跡可能にする「監査可能性」が挙げられる。

これらの制御を、改変可能なハーネスロジックの内部ではなく、エージェント境界よりも下層に位置するランタイムやインフラストラクチャ層で強制的に適用することこそが、安全で信頼できるエージェント運用の鍵になるとしている。