AWS、本番環境のマルチエージェント監視手法を公開　「AgentCore Evaluations」と「AWS DevOps Agent」で品質とインフラを二重監視

要点

• 従来のインフラ監視では検知できない、マルチエージェントシステムの誤ルーティングやサイレントな機能不全などの課題が提起された。
• エージェントの対話品質を評価する層と、インフラ障害を自律調査する層を分けた2段階の監視アプローチが示された。
• 「Amazon Bedrock AgentCore Evaluations」を用いて実際の対話を継続的にスコアリングし、ツールの誤選択やタスク失敗を検知する。
• 「AWS DevOps Agent」がサービス境界を越えてIAMポリシーやログ、トレースを自律的に照合し、障害原因の調査を自動化する。
• 4つの専門エージェントを備える航空会社予約システムの実例とともに、基盤となる「AgentCore runtime」などの技術構成が明かされた。

---

Amazon Web Services（AWS）は2026年9月11日、公式技術ブログ「AWS ML Blog」において、本番環境で稼働するマルチエージェントシステムのライフサイクル監視に関する解説記事を公開した。

システムメトリクス上は正常に見えてもエージェントの挙動に問題が生じる「サイレント障害」への対策として、「Amazon Bedrock AgentCore Evaluations」と「AWS DevOps Agent」を組み合わせた監視手法が提示されている。記事では、4つの専門エージェントで構築された航空会社予約システムを題材に、品質評価とインフラ調査を両立させる仕組みが説明されている。

従来型インフラ監視が抱える「サイレント障害」の検知限界

記事によると、複数のAIエージェントが協調して動作するマルチエージェントシステムでは、従来のインフラ監視ツールでは捉えきれない問題が本番環境で発生するという。

代表的な例として挙げられているのが、Amazon CloudWatchなどのメトリクスが「正常（グリーン）」を示しているにもかかわらず、エージェントが意図通りに機能しないケースだ。例えば、エージェントの実行ロールにAWS Identity and Access Management（IAM：AWSリソースへのアクセス権限を管理する仕組み）の権限不足があっても、500エラーを返さずに空の応答を返す場合がある。また、全体を取りまとめるスーパーバイザーエージェントのプロンプト定義が不十分な場合、インフラのエラー率を上げることなく、リクエストの20%を本来とは異なる専門エージェントへ誤ってルーティングしてしまうといった事象が発生するという。

インフラ監視は「システムが正常に実行されたか」を示すにとどまり、「エージェントがユーザーの目的を達成できたか」までは評価できない。API呼び出しやツール実行自体がエラーなく成功していても、エージェントがユーザーの意図を完全に誤解している場合や、多段階の呼び出しの深部で例外を出さずに予約処理が未完了のまま終了してしまうといった問題が潜むと指摘されている。

特にマルチエージェント環境では、固定された実行グラフが存在せず、専門エージェント間の引き継ぎ箇所が複数存在するため、障害の波及を予測して計測することが極めて困難であると説明されている。

品質評価と自律障害調査を組み合わせた2層監視

こうした課題に対し、AWSはエージェントの有効性を測るレイヤーとインフラを支えるレイヤーの2重構造による監視手法を提示した。

1. Amazon Bedrock AgentCore Evaluationsによる継続的な品質評価

エージェントの品質監視を担うのが「Amazon Bedrock AgentCore Evaluations」だ。Amazon Bedrock AgentCoreは、任意のフレームワークやモデルを用いてエージェントの大規模な構築・接続・最適化を行うプラットフォームである。

AgentCore Evaluationsは、本番環境で発生する実際の対話をリアルタイムで継続的にスコアリングする。これにより、インフラメトリクスでは完全に検知できない「ツールの誤選択」「タスクの実行失敗」「応答品質の劣化」を捉えることが可能になるという。

2. AWS DevOps Agentによるインフラ障害の自律調査

インフラ側の調査には「AWS DevOps Agent」が活用される。システムに問題が発生した際、AWS DevOps Agentがサービスの境界を越えて自律的に障害を追跡する。

エンジニアによる手動調査を介さず、IAMポリシー、呼び出しログ、オーケストレーションのトレース情報を相互に関連付けて原因を特定できる仕組みとなっている。

この2つの技術を組み合わせることで、「エージェントが正しく動作しているか」と「背後のインフラが適切にサポートしているか」の両面を可視化できるとしている。

実装を支える主要技術スタック

記事では、今回紹介された航空会社予約システムを構成する主要なAWS技術スタックについても触れられている。

• Amazon Bedrock: Anthropic、Meta、Mistral、Amazonなどの基盤モデル（FM）へのAPIアクセスを提供し、予約システムにおける言語理解を担う。
• AgentCore runtime: エージェントのオーケストレーションと対話ライフサイクルの管理を行う。OpenTelemetry（可観測性データの収集標準）による計測機能が組み込まれており、高い可観測性を実現する。
• Fullstack AgentCore Solution Template (FAST): AgentCoreバックエンドと接続された安全なReactフロントエンドを迅速に展開するためのテンプレートとして提供されている。