Amazon Bedrock AgentCoreとGitHub ActionsによるAIエージェント自動評価手法をAWSが公開

要点

• AWSが、Amazon Bedrock AgentCoreとGitHub Actionsを連携させたAIエージェントの自動評価CI/CDパイプラインを公開した。

• コード変更に伴う性能低下を自動検知し、評価スコアが基準を下回った際にプルリクエストをブロックする品質ゲートを構築できる。

• 評価機能「AgentCore Evaluations」により、OpenTelemetryのトレース情報をもとにLLMが有用性やツール選択精度などをスコアリングする。

• Model Context Protocol（MCP）によるツール連携、Cognitoを用いたマシン間認証、OIDCによるセキュアなAWS接続を含むフルスタックの実装例が提供されている。

• アマゾン ウェブ サービス（AWS）は2026年9月8日、同社の公式ブログ（AWS ML Blog）において、AIエージェント向け実行基盤「Amazon Bedrock AgentCore」とGitHub Actionsを組み合わせ、CI/CD環境でエージェントの性能を自動評価するパイプラインの構築手法を公開した。

• 公開された手法では、エージェントのコード変更時に自動でテストを実行し、性能の劣化（リグレッション）が発生した場合はプルリクエスト（PR）のマージを阻止する「品質ゲート（Quality Gate）」の仕組みを構築できる。あわせて、AWS CDKによるインフラ定義や評価スクリプトを含むリファレンス実装が公開された。

性能低下を未然に防ぐCI/CD品質ゲートの導入

AIエージェントを本番環境へ安全にリリースするためには、プロンプトやコードの修正が既存の応答性能に与える影響を事前に把握する必要がある。今回紹介されたパイプラインでは、GitHub Actions上でエージェントをデプロイした上で評価プロンプトを実行し、スコアが基準値に達しない場合はワークフローを失敗させてPRの取り込みを防ぐ仕組みとなっている。

エージェントのホスティングには「AgentCore runtime」が採用されている。これはPythonなどの任意のフレームワークで記述されたエージェントコードを実行できるマネージド基盤で、インフラの自動スケーリングやセッションごとの分離環境を提供する。

LLMを活用して多角的にスコアを測定する「AgentCore Evaluations」

エージェントの性能評価には、Amazon Bedrock AgentCoreの機能である「AgentCore Evaluations」およびそのAPI（Evaluate API）が用いられる。この機能は、大規模言語モデル（LLM）を評価者（LLM as a Judge）として活用し、エージェントの振る舞いを自動で採点するものだ。

評価にあたっては、Amazon CloudWatchに記録されたOpenTelemetry（可観測性データの標準規格）のトレースログを読み取り、以下の複数の観点からスコアリングが行われる。

• 有用性（Helpfulness）: ユーザーの意図に沿った応答ができているか
• 正確性（Correctness）: 提供する情報に誤りがないか
• ツール選択精度（Tool selection accuracy）: 目的に応じた適切なツールを正しく呼び出せているか

パイプライン側でこれらのスコアにしきい値を設定しておくことで、定量的な基準に基づいたマージ可否の自動判定が可能になる。

ロールベース制御とCI環境向けの認証設計

今回の構成では、エージェントが外部ツールを呼び出すインターフェースとして「MCP（Model Context Protocol）」が組み込まれている。AgentCore runtime上でMCPサーバーをホストし、オープンソースフレームワークの「Strands」で作成されたエージェントと連携させる形態をとる。

この環境において、ツール呼び出しに対するロールベースのアクセス制御（RBAC）を実現するため、3層構造の認証パターンが適用されている。認証基盤にはAmazon Cognitoのユーザープールが使用され、ユーザー操作による認証フローと、CI環境などのマシン間（M2M）通信で用いられる「OAuth 2.0 Client Credentialsグラント」の双方が単一のプールで処理される。これにより、ユーザーが存在しない自動テスト環境からでも安全にOAuth保護されたランタイムを実行できるよう設計されている。

また、GitHub ActionsからAWS環境へのアクセスにはOpenID Connect（OIDC）フェデレーションが利用される。これにより、CI環境内に長期的なIAMアクセスキーを保存することなく、一時的な認証情報を動的に取得して安全にデプロイや評価を実行できる。

サンプルリポジトリの公開

AWSは、今回の解説に合わせた完全なリファレンス実装をGitHub上のリポジトリ（awslabs/agentcore-samples）で公開している。リポジトリには、AWS CDK（Cloud Development Kit：プログラミング言語でクラウドインフラを定義するフレームワーク）による構築コード、MCPサーバーとStrandsエージェントの実装、Cognitoの設定、および評価を実行するための統合スクリプトが含まれている。