AWS、マルチターン会話型AIエージェントの誤りをターン単位で特定する新評価指標「AEM」を発表

要点

• 米Amazon Web Services（AWS）は、複数回のやり取り（マルチターン）を行うAIエージェントの品質をターン単位で測定する新指標「Agent Evaluation Metric（AEM）」を発表した。

• 対話の初期に発生した小さな誤りが後続のやり取りへ連鎖する問題に対し、根本原因となった特定のターンを正確に切り分ける仕組みを提供する。

• 従来の目標達成率や単一ターン評価では見落とされがちだったエラーの伝播を、分解可能なサブメトリクスによって可視化する。

• 今回は第1の評価次元として「正確性（correctness）」に適用されており、評価構造を変更することなく将来的な評価次元の拡張にも対応する。

• 米Amazon Web Services（AWS）は2026年9月10日、複数回のやり取りを伴う会話型AIエージェントの品質をターン単位で測定・評価する新たな手法「Agent Evaluation Metric（AEM）」を公式技術ブログで発表した。

• 対話の初期段階で生じた単一のエラーがその後のやり取り全体に波及してしまう現象に対応し、失敗の真因となったターンと、その影響を引き継いだだけのターンを分離して特定できるという。

• 同社はこの指標をまず「正確性」の測定に適用し、従来の全体評価では捉えきれなかったエージェントの動作品質を詳細に可視化するアプローチとして提示している。

会話型エージェントにおける「エラーの連鎖」と評価の難しさ

AIエージェントがユーザーと複数回のやり取りを重ねる「マルチターン（対話の往復）」環境では、単一ターンの評価では検知できない特有の失敗パターンが存在するとAWSは指摘している。対話の序盤で発生したわずか1回の誤動作が、その後のすべてのターンに対して静かに悪影響を及ぼし続ける現象だ。

同ブログでは具体例として、5ターンのやり取りを行う企業向けアシスタントの挙動を挙げている。ユーザーが売上レポートの作成とその後の修正を依頼した際、エージェントは第2ターンで適切なアクションを選択したものの、渡すパラメータとして「売上高（revenue）」ではなく誤って「利益（profit）」を指定してしまった。この単一のミスが原因となり、第3ターンから第5ターンにかけての後続処理すべてに誤った情報が伝播していったという。

従来のタスク全体を評価する仕組みでは、最終的な出力結果のみを確認するため、対話全体を「失敗」と判定するにとどまる。しかし実際には、修正が必要なのは原因となった第2ターンのみである。このように、結果のみを見る評価では根本原因とその下流で発生した二次的な影響を区別できない点が、マルチターン会話型エージェントの評価における大きな課題となっていた。

従来の評価手法が抱える3つの限界

現在利用されている多くのエージェント評価ツールは、タスク全体や個別の応答に対して大まかなスコアを算出する手法が主流となっている。目標達成率のスコアリングや、大規模言語モデル（LLM）自身を評価者として用いる「LLM-as-judge」、さらにはトレース単位の根本原因分析などが提供されているものの、これらはいずれも品質を単一のシグナルとして扱っており、独立して追跡できる要素に分解できていないという。

ブログでは、既存の評価アプローチにおける具体的な限界として以下の3点を挙げている。

1. タスクレベル指標の限界: 目標達成率（Goal Success Rate）などの指標は、エージェントがタスクを完遂できたかどうかを示すにとどまり、どの品質次元で破綻が生じたのかを特定できない。「目標達成スコアが70%」と判明しても、その原因が事実誤認なのか、必要な情報の欠落なのか、ツールの選択ミスなのかを把握することは困難である。
2. 単一ターン（シングルターン）指標の限界: 有用性や忠実性などを測定する既存の指標は、個々の応答を単体で評価するため、ターンをまたいでエラーがどのように伝播していくかを考慮できない。
3. 全体スコア（Holistic scores）の限界: 単一の包括的なスコアでは、事実に関する誤りと必須項目の入力漏れといった異なる種類の問題を識別できない。さらに、安全性や指示の保持といった新たな要件を追加しようとした際、評価システム全体の再設計が必要になってしまう。

分解可能かつターン単位で測定する「AEM」の仕組み

こうした従来の課題を解消するために考案されたのが、今回発表された「Agent Evaluation Metric（AEM）」である。AEMは、エージェントの品質を名前の付いた測定可能なサブメトリクス（下位指標）へと分解し、対話の一連の流れ（トラジェクトリ）全体の中で各ターンを評価した上で、単一の指標へと統合するアプローチを採用している。

この仕組みにより、開発者は対話全体の中で「どのターンが失敗の根本原因であったか」をピンポイントで特定し、単にその影響を引き継いだだけの後続ターンと明確に切り分けることが可能になる。

また、AEMは測定メカニズムそのものを変更することなく、新しい品質次元へと拡張できる柔軟性を備えていると説明されている。今回はその最初の適用例として「正確性（correctness）」が取り上げられており、今後は安全性や指示の遵守といった他の要件に対しても同様のフレームワークを適用できるとしている。