AIエージェントの精度を劇的に改善、AWSと英Motorwayが評価パイプラインの設計図を公開

要点

• AWSのPACEチームと中古車市場の英Motorwayが、AIエージェントの信頼性を高める評価パイプラインを共同開発した。

• 検索のエラー率を8クエリに1回から50クエリに1回へと削減し、不具合の検出時間も数時間から数分へと劇的に短縮した。

• 開発時のテストと本番監視を組み合わせた2フェーズ評価や、ツール利用・推論・回答品質を検証する3レイヤーのフレームワークを採用している。

• AWSの各種サービスやStrands Agents SDKを使用した実装コードが、GitHub上でサンプルとして公開された。

• アマゾン ウェブ サービス（AWS）のPACE（プロトタイプ開発とAI顧客支援を行うチーム）と、イギリスのオンライン自動車取引市場を運営するMotorwayは、2026年7月23日、AIエージェントの検証・評価パイプラインの設計図（ブループリント）を発表した。本番環境で動作するAIエージェントの信頼性を確保するための構成となっており、実際の取引において発生しうる誤動作を大幅に抑制する効果が確認されたという。

大規模市場でAIエージェントが直面した信頼性の課題

Motorwayは、毎日最大8,000社のディーラーが最大2,500台の中古車に入札する大規模なオンラインオークションプラットフォームを運営している。同社は、ディーラーが自然言語によるクエリで在庫車両を迅速に検索できるよう、PACEチームと協力してAI搭載の検索エージェントを構築した。

しかし、実際の金銭が動くビジネス現場でAIエージェントを稼働させるには、回答の信頼性が大きな懸念となっていた。AIエージェントはもっともらしい口調で回答するものの、検索条件の指定を誤る「ツール選択エラー」や、複雑な条件（例：「5年落ちまでのガソリン車、ハイブリッド車、電気自動車」など）の解釈ミスが発生することがあった。また、対話を重ねる中で会話の文脈が崩れる「コンテキストドリフト」や、同じ質問に対しても実行ごとに異なる結果を出力する「非決定的な挙動」なども、運用の信頼性を損なう要因となっていた。

検索エラー率を8分の1から50分の1へ削減

これらの課題を解決するため、MotorwayとAWSは「Strands Agents SDK」（AIエージェント構築用の開発キット）と、エージェントのデプロイや運用管理を担うAWSのフルマネージドサービス「Amazon Bedrock AgentCore」を統合したエンドツーエンドの評価パイプラインを構築した。

この評価パイプラインの導入により、AIエージェントによる検索のエラー率は従来の8クエリに1回から、50クエリに1回へと劇的に減少した。さらに、システム上の不具合が発生した際の検出時間は、これまでの数時間からわずか数分へと短縮されたという。

開発から本番までをカバーする評価の仕組み

今回発表された評価パイプラインは、主に以下の3つのアプローチで構成されている。

• 2フェーズ評価戦略：開発（ビルド）時にはStrands Agents用のオープンソース評価ライブラリ「strands-agents-evals」を使用してテストを行い、本番稼働後は「Amazon Bedrock AgentCore Evaluations」を用いてリアルタイムで挙動をモニタリングする。
• 3レイヤーフレームワーク：AIエージェントの「ツール利用」「思考・推論プロセス」「最終的な回答の品質」という3つの階層ごとに評価を行う。
• 5ステージのデプロイパイプライン：設定された評価指標が事前に定めたしきい値を下回った場合、自動的に新しいバージョンのリリースを阻止する品質ゲートが組み込まれている。

また、出力の安定性を測定するための「pass^k」指標の活用や、上記の3レイヤーによる評価といった基本原則は、AWS以外のクラウドやオンプレミス環境で動作するAIエージェントであっても、商用サービスとして安定稼働させるために必要不可欠な要件であると説明されている。

GitHubでサンプルコードを公開

AWSは、この評価パイプラインを自社のシステムに導入したい開発者向けに、GitHubのリポジトリ「aws-samples/sample-evaluating-agents-on-aws-with-strands-and-agentcore」にてサンプルコードを公開した。

このサンプルを動作させるには、Amazon BedrockやAWS Lambda、Amazon S3、Amazon DynamoDBなどのAWSサービスを利用できる環境のほか、クラウド上のインフラをコードで定義できるツールである「AWS CDK v2」および「Python 3.14以上」がインストールされている必要がある。さらに、Amazon Bedrock経由でAnthropicのClaudeモデルやAmazonのTitanモデルへアクセスできる権限も求められる。

AWSの試算によると、初期デプロイには約30〜45分、自社のシステム構成に合わせてカスタマイズを行うには2〜3時間程度の作業時間が必要だという。また、サンプル評価スイートを実際に実行する際にかかるBedrockの利用コストは、約5〜10ドルと見積もられている。