NVIDIA、AIエージェント用スキルの性能を客観評価するOSS「SkillEvaluator」を公開　300超の検証で平均31ポイントの向上を確認

要点

• 米NVIDIAは、AIエージェント向け拡張スキルの性能や効果を客観的に測定・検証するオープンソースツール「SkillEvaluator」を発表した。

• 静的解析、重複検出、隔離サンドボックスでの実行比較という3段階（Tier 1〜3）の評価プロセスを採用している。

• 30以上の製品にわたる300種類以上のスキルを検証した結果、正確性や効率性などで平均31ポイント（セキュリティ項目除外で39ポイント）のスコア向上が確認された。

• 検証済みスキルはClaude CodeやCodex、Cursor向けのプラグインをはじめとする各種プラットフォームで提供されている。

• 米NVIDIAは2026年8月19日、AIエージェントにツール利用手順や指示を提供する「スキル」の性能を測定するオープンソースツール「SkillEvaluator」を発表した。同時に同社製品向けの検証済みスキル300種類以上を対象としたベンチマーク結果を公表し、スキルの導入によってエージェントのパフォーマンスが平均31ポイント向上したことを明らかにしている。

開発の背景：エージェントのコンテキスト効率化

AIエージェントの実効性は、モデルに与えられるコンテキスト（文脈や指示情報）の質に大きく左右される。NVIDIAによると、高性能な言語モデルや詳細な公式ドキュメントが存在していても、エージェントが適切なツールを見つけるために余分な手順を踏んだり、試行錯誤の過程で行き止まりに陥ってトークン（モデルが処理するテキストの最小単位）を浪費したりする課題が生じていたという。

こうした問題に対処するため、特定製品の機能概要、呼び出しのタイミング、具体的な利用手順やプロンプト例を構造化してパッケージにしたものが「スキル」である。SkillEvaluatorは、これら各種のスキルがエージェントの推論経路や処理結果を実際に向上させているかを客観的に検証するオープンな評価基盤として構築された。

3段階に分かれた厳格な評価プロセス

SkillEvaluatorでは、スキルを正式に公開する前の品質基準として、それぞれ独立して実行可能な3つの評価階層（Tier）を設けている。

第1段階の「Tier 1（安全性と構造）」は、スキーマやメタデータの妥当性チェック、品質採点を行う静的検査である。プロンプトインジェクション（不正な入力によりモデルの意図しない動作を引き起こす手法）やデータ流出を防ぐセキュリティスキャン、機密情報や個人情報の混入検知、ライセンス検証、スクリプトの静的解析が含まれる。

第2段階の「Tier 2（独自性）」では、テキストの埋め込みベクトルの類似度を用いて、単一のスキル内における重複した指示や、スキルカタログ全体における機能の重複範囲を検出・特定する。

第3段階の「Tier 3（ライブ評価）」では、自動生成された評価タスクを用い、隔離されたサンドボックス（外部への影響を遮断した仮想実行環境）内でエージェントを実際に実行して、スキルの有無による性能差を実測する。

隔離環境「Harbor」による実環境での比較検証

Tier 3のライブ評価では、再現性の高い隔離環境を提供するオープンソースフレームワーク「Harbor」が採用されている。SkillEvaluatorが評価ケースをタスク形式に変換し、サンドボックス内でエージェントを実行して結果を収集・採点する仕組みとなっている。

公平な比較を行うため、各テストケースでは同一のプロンプト、モデル、タスク入力、採点基準を用い、スキルを導入した状態と導入していない状態の2通りでエージェントを実行する。唯一の実験変数を「スキルの有無」に絞った比較を2つの独立した実行環境（ハーネス）で反復し、得られたスコアの差分をスキルの貢献度を示す「Skill Lift（スキルリフト）」として算出する。

評価の実行手順も簡潔に設計されており、専用コマンド（skillevaluator create-eval-dataset ./my-skill --full）で明示的・暗黙的・文脈的・否定的なケースを含むデータセット（_evals/evals.json）を生成した後、Docker環境などを指定した評価コマンド（skillevaluator tier3 evaluate ./my-skill --agents codex --env-mode docker）を実行することで、Harborを通じた自動テストと採点が行われる。

300超のスキル検証結果と主要プラットフォームへの展開

NVIDIAが公表した初期ベンチマークでは、30以上の製品に対応する300種類以上の検証済みスキルが評価された。その結果、正確性（Correctness）、発見可能性（Discoverability）、有効性（Effectiveness）、効率性（Efficiency）の各項目で顕著な改善が見られ、全体平均で31ポイント、セキュリティ項目を除外した場合は平均39ポイントのSkill Liftが記録された。

分析結果によると、エージェントハーネスの選定よりも、対象製品のドメインや評価設計自体のほうがSkill Liftに大きな影響を与えることが示されたという。また、トークン消費量や実行時間の削減幅はスキルごとに異なるため、用途に応じた個別の最適化が重要であると言及されている。

これらの検証済みスキルは、Claude Code、Codex、Cursor向けのプラグインとして公開されているほか、Skills.sh、ClawHub、Hermes Hubといった各種プラットフォームを通じても提供されている。