NVIDIAがAIエージェントの評価手法を提示、単一ツールの呼び出し精度からタスク完了度へ移行
要点
-
米NVIDIAは、AIエージェントの評価基準を個別のツール呼び出し精度から、実行環境を通じたタスク全体の完了度へ移行すべきとする技術解説を公開した。
-
評価には実行ログ（トレース）を用い、デバッグ用の「ステップ評価」とリリース判定用の「エンドツーエンド評価」の2層で判定するフレームワークを提示した。
-
ツール呼び出しの成否は「ツールの使用判断」「ツールの選択」「引数の生成」の順に測定され、ベンチマークからステップまでの5階層で管理される。
-
自社モデル「Nemotron 3.5 Lightning」において同フレームワークを適用し、ベンチマーク「PinchBench」で86%の精度を達成しつつタスク完了時間を30%短縮したと発表した。
-
米NVIDIAは2026年9月21日、AIエージェント（自律的にツールを選択・実行してタスクを遂行するAIシステム）の性能を評価するためのフレームワークに関する技術解説を同社ブログで公開した。従来の単一的な関数呼び出しの成否にとどまらず、実行環境の状態変化を追跡してタスク完了までを評価する手法への転換を提唱している。企業での本番導入に向け、個別呼び出しの正しさだけでなく環境状態に基づいた検証が不可欠であると説明している。
従来のLLM評価やAPI呼び出し評価の限界
記事によると、従来の大規模言語モデル（LLM）向け評価フレームワークは静的なタスクを前提に構築されていたという。その後、関数の選択や引数の精度を測定する指標として「Berkeley Function-Calling Leaderboard（BFCL）」などが登場したが、これらは個別の関数呼び出し単位の評価にとどまっていた。
しかし、実際の業務においてエージェントが複数ステップの処理を行う場合、個別の呼び出し精度だけでは不十分であると指摘されている。たとえば、返金処理を行う関数呼び出し自体が形式上正しくても、その前提となる確認処理やデータベースの更新をスキップしていれば、業務タスクとしては失敗となるためだ。このため、呼び出しの正確性は必要条件であっても十分条件ではないと論じている。
実行ログ「トレース」と2層のスコアリング手法
同社は、エージェントを適切に評価するには、各ツール呼び出しを実行して状態変化を追跡し、最終的に作業が完了したかを判定できる「完全な実行環境」が必要であるとしている。
評価は「トレース」（ユーザー入力から各ステップの動作、終了時の環境状態までを時系列に記録した実行ログ）を対象に行われ、以下の2つのスコアリング層で構成される。
- ステップ評価（プロセススコアリング）: その時点の環境状態に対して、各ツール呼び出しが妥当かつ有用であったかを判定する。処理がどの段階で破綻したかを特定できるため、デバッグやモデルのファインチューニング（特定用途向けの追加学習）に適している。
- エンドツーエンド評価（結果スコアリング）: 途中の実行経路を考慮せず、最終的な環境状態が目標と一致しているか（返金処理が完了したか、問い合わせチケットが正しく割り振られたか等）のみを判定する。ユーザー体験に直結するため、本番リリースの判定基準として用いられる。
ベンチマーク測定の3要素と5段階の階層構造
ツール呼び出しを伴うベンチマークでは、評価が以下の3つの順序で実行されると説明されている。
- ツールの使用判断: ツールを使用すべき状況かを判断する。
- ツールの選択: 用途に応じた正しいツールを選択する。
- 引数の生成: 選択したツールに渡す引数を正確に作成する。
また、実行コストや処理遅延（レイテンシ）は、呼び出しの冗長性や実行時間によって左右される。これらの一連の測定は、全体を統括する「ベンチマーク」、固定設定で全タスクを実行する「試行（Trial）」、個別課題を指す「タスク（Task）」、対話の1往復を表す「ターン（Turn）」、個々の動作である「ステップ（Step）」という5段階の階層構造で集計・管理される。
検証手法の優位性とNemotron 3.5 Lightningの実績
ベンチマークの比較可能性においては、参照データとの照合や「LLM-as-a-judge」（別のLLMを評価者として用いてモデル出力を判定する手法）よりも、プログラムによる実行可能な直接検証が好ましいとしている。
実証例として、NVIDIAのモデル「Nemotron 3.5 Lightning」の測定結果が示されている。同モデルはこの評価フレームワークのもと、ベンチマーク「PinchBench」において86%の精度を達成し、同等クラスのモデルと比較してタスク完了時間を30%短縮したという。
企業におけるAIエージェントの導入にあたっては、分離された個別呼び出しの精度ではなく、実際のチケットやAPIを用いたドメイン固有の環境状態に基づく評価を優先すべきであると締めくくられている。同社は公開ベンチマークの再現手順やデプロイガイドもあわせて案内している。