Amazon Bedrock AgentCoreとStrands Evals、AIエージェントの「スキル」活用を検証する評価機能を発表

要点

• AWSの「Amazon Bedrock AgentCore」と「Strands Evals SDK」に、AIエージェントのスキル利用に特化した評価機能が追加された。

• 業務手順をモジュール化した「スキル」において、不適切なスキルの呼び出しや指示の不履行といった失敗を測定可能にする。

• スキル選択の成否を判定する二値指標や、手順の遵守度を5段階で測る評価指標など、計3種類の評価ツールが提供される。

• 実行ログやOpenTelemetryトレースを活用し、AgentCore CLIを通じてテストの自動化や原因分析を行える。

• AWS（アマゾン ウェブ サービス）は2026年9月22日、同社のAIエージェント基盤「Amazon Bedrock AgentCore」の評価機能（AgentCore Evaluations）および「Strands Evals SDK」において、スキルを搭載したAIエージェントの動作を評価する新機能を追加したと発表した。

• この新機能は、オープン規格「Agent Skills」に準拠してモジュール化された手順やツールの利用状況を検証し、エージェントが適切なスキルを選んで正しく指示に従えているかを測定するものだという。

• 従来の出力テキストのみを対象とした評価では見落とされがちだった、エージェント内部の実行プロセスの不備を正確に捉えられるようになるとしている。

エージェントのモジュール化を支える「スキル」の役割

汎用的なAIエージェントは幅広い作業に対応できる一方で、実際のビジネス現場ではコンプライアンスチェック、文書処理ワークフロー、エスカレーション基準、開発チーム独自の規約といった固有の手順を厳密に守らせる必要がある。
従来はこれらを単一のシステムプロンプトやアプリケーション側のコードに組み込んで対応していたが、仕様の保守や更新が煩雑になるという課題を抱えていた。

こうした背景から、再利用可能な指示セットをモジュールとして切り出す「スキル（Skills）」の活用が進んでいる。スキルは通常 SKILL.md という形式のファイルで管理され、契約書の墨消しや請求書の照合、チームの開発ルールの順守といった特定領域のタスクをエージェントに指示するものだという。オープンな標準規格である「Agent Skills」に準拠しているため互換性のある実行環境間で移植しやすく、エージェントは実行時に必要なスキルのみをコンテキストに読み込んで動作できる。

スキルには、タスク実行に必要なツールとコンテキストが一括でパッケージ化されている。具体的には以下の5つの要素で構成される。

• 指示（Instructions）: エージェントのコンテキストに注入される、特定ドメイン向けのガイダンスや制約条件。
• ツールバインディング（Tool bindings）: スキルが依存するAPI、MCP（Model Context Protocol：AIモデルと外部ツールやデータを接続するためのオープンな標準規格）サーバー、またはローカルコマンド。
• 知識（Knowledge）: 参照用のドキュメント資料や作業例。
• ワークフロー（Workflow）: スキルが実行する多段階の手順や判断ロジック。
• ガードレール（Guardrails）: 出力フォーマットの要件、実行スコープの制限、各種バリデーションルール。

このモジュール構造により、基礎となるモデルの追加学習やコアロジックの再実装を行うことなく、エージェントの専門特化やルールの最新化、複数ワークフロー間での手順の再利用が容易になると説明されている。

スキル導入で生じる2つの失敗モードと評価の難しさ

一方で、スキルを組み合わせて利用する設計には、従来の一般的な出力品質指標では検知しにくい2つの失敗パターンが存在するとAWSは指摘している。

1. 不適切なスキルの呼び出し: エージェントが与えられたタスクに対して適していないスキルを選択して実行してしまう状態。
2. 指示の不完全な実行: 正しいスキルを選択したものの、スキル内に記述された指示を読み飛ばしたり、一部の手順しか実行しなかったりする状態。

これらの失敗が発生した場合でも、エージェントは一見すると流暢で説得力のある回答を生成してしまうことがあるという。しかし、その回答は本来適用されるべき業務知識や手順を踏んでいないため、最終的な出力テキストを人間や自動評価ツールで確認するだけでは異常を特定できない。そのため、エージェントがどのようなプロセスを経て回答に至ったかを評価する専用の仕組みが求められていた。

振る舞いを測定する3つのスキル評価指標

こうした課題を解決するため、Strands Evals SDKおよびAmazon Bedrock AgentCore Evaluationsに、スキル実行に焦点を当てた3種類の評価機能が組み込まれた。

• Skill Selection Accuracy（スキル選択精度）: エージェントが呼び出した個々のスキルが、与えられたタスクに対して適切であったかを判定する。結果は適切か否かの二値（バイナリ）で返される。
• Skill Instruction Following（スキル指示遵守）: 呼び出したスキルの指示にエージェントがどの程度忠実に従ったかを測定する。スキルで指定された各ステップの実行証拠に基づき、5段階の評価スコアが算出される。
• Skill Invoked（スキル呼び出し確認）: Strands Evals上で提供される決定論的な検証機能で、指定した名称のスキルが実行時に正常に読み込まれたかどうかを判定する。

これらにより、スキル選択の妥当性と指示の実行精度の双方を数値化して把握できるようになった。

トレースログの活用とAgentCore CLIによる検証フロー

エージェントがタスクとスキル一覧を受け取ってからスキルを選択・実行するまでの一連の処理は、Strands Evalsの実行ログ（トラジェクトリ：思考や行動の推移記録）や、システムの可観測性レイヤーにおけるOpenTelemetryトレースとして記録される。

新しく提供された3つの評価機能は、これらの記録データを入力として動作する仕組みとなっている。開発者は「AgentCore CLI」を通じて、記録されたトラジェクトリからのスキル評価の実行、テストスイートへの決定論的ルーティング検証の追加、OpenTelemetryトレースを用いた振る舞いの評価を行えるという。また、スキルごとの詳細な分析結果を確認しながら、プロンプトの調整やスキルの再設計といった適切な改善策を選択できるとしている。

補足

Agent SkillsやOpenTelemetryといったオープンな規格をベースに評価基盤が構築されているため、既存の可観測性ツールや分散トレーシング環境を活かしたまま検証ワークフローを導入できる構成となっている。