AWS、AIエージェントの評価フレームワークを公開　社内システムでの誤答事例と継続的品質管理を提示

要点

• 米Amazon Web Services（AWS）が2026年10月16日、本番環境におけるAIエージェントの信頼性を維持するための評価フレームワークを公式ブログで公開した。

• 従来のシステム監視をすり抜ける「静かな失敗」を防ぐため、Amazon Bedrock AgentCoreを活用した継続的な品質測定の重要性を提唱している。

• AWS社内の営業支援マルチエージェントでは、事前評価で410ドルの収益を「4億ドル」と誤認するなど、データにない数値を事実として出力する事例が確認された。

• データ、ツール、プロンプトの更新タイミングのズレにより、事前テストの合格率が78パーセントから38パーセントへ急落した検証結果も公表された。

• 米Amazon Web Services（AWS）は現地時間2026年10月16日、公式ブログ（AWS ML Blog）で、AIエージェントの信頼性を本番環境で維持するための評価フレームワークを公表した。世界中の営業担当者を支援する社内マルチエージェントシステムの運用実績をもとに、従来のシステム監視をすり抜ける誤回答のリスクと、その検証手法を解説している。同記事では、事前評価で見つかった深刻な誤答の具体例や、コンポーネント更新のズレによるテスト合格率急落のデータが明らかにされた。

AI特有の「静かな失敗」と継続的品質評価

従来のソフトウェアは異常発生時にエラーや停止といった形で明確に失敗を示すが、AIエージェントは流暢かつ自信に満ちた口調のまま、誤った回答を静かに返してしまう。AWSはこの現象を「静かな失敗」と呼び、業務上の意思決定に使われた場合にはユーザーとの信頼関係を損なう深刻な問題だと指摘する。

このため同社は、品質管理を一過性の最終検査としてではなく、システム自体に組み込まれたOS（基本機構）のように位置づける必要があると説明している。すべてのサブエージェントや業務フローにわたり、品質を継続的に測定し、自動的に防御しながら改善し続ける「継続的品質ループ」の確立が不可欠だとしている。

社内の営業支援マルチエージェントの構成

AWSの営業・マーケティング・グローバルサービス（SMGS）運用チームは、世界中の営業部隊向けに本番マルチエージェントシステムを開発・運用している。このシステムは、AIエージェント構築基盤であるAmazon Bedrock AgentCoreなどを活用した社内向けソリューションだ。

営業担当者や営業リーダーは、社内ツール「Amazon Quick」を通じて平易な英語でビジネスに関する質問を行える。背後では、担当地域の収益を扱う「Performance Insights Agent」、顧客情報を分析する「Customer Insights Agent」、自然言語からSQL文を生成して問い合わせるText-to-SQLを担う「Data Insights Agent」、ダッシュボード連携機能などの特化型エージェントが連携して動作する。回答は各ユーザーの担当地域や行レベルセキュリティ（権限に応じた行単位のデータ制限）に基づいて制御され、商談準備や戦略立案に直結するため数値の正確性が強く求められる。

事前検証で発覚した「410ドルを4億ドル」などの誤答事例

Customer Insights Agentのローンチ前評価では、重大な誤答が複数発見された。具体例として、ある顧客の3か月間のサービス収益「410.08ドル」を「4億1008万ドル（410.08 Million）」と報告した事例が挙げられている。さらに、調整額控除前の売上高を控除後と誤認した表記や、元データに存在しない年間経常収益（ARR：契約に基づき毎年継続的に得られる収益の推計値）の提示、自らの計算結果を確定事実のように回答する事象も確認された。

これらの誤答が発生していた間も、既存のシステム監視ステータスは一貫して「正常（グリーン）」を示していた。監視ツールは応答が返された事実のみを記録し、内容が正しいかまでは判定できないためだ。AWSは、これらが見逃されていれば営業担当者が誤った数値を顧客に伝え、信用を失っていたと指摘している。

データ更新や「リリースのズレ」による合格率急落

こうしたリスクは、本番公開後も解消されない。新機能やエージェントの追加、プロンプト（AIへの指示文）やコードの改修だけでなく、毎週行われる上流データパイプラインの自動更新によってもリスクは増大し続けるという。

特にデータ変更、ツール変更、プロンプト更新の反映タイミングがずれる「協調リリースの不整合」は深刻で、事前テストではこのズレによって合格率が78パーセントから38パーセントへ急落したという。AWSは、回答が確かな根拠に基づいているか（グラウンディングされているか）を常時検証し、障害時にデータ、プロンプト、コードのどこに根本原因があるかを追跡できるフレームワークが不可欠であるとしている。