英AI安全性研究所とEvalEval、AI評価結果の再現性向上に向けた共有インフラの運用を開始

要点

• 英国AI安全性研究所（UK AISI）が、AI評価結果をオープンに共有するためEvalEvalのインフラストラクチャを採用した。

• 共有レポートスキーマ「Every Eval Ever」と公開プラットフォーム「Evaluation Cards」を通じ、検証可能な評価エコシステムの構築を図る。

• AIの普及に伴い評価の重要性が高まる一方、公表形式の乱立や情報不足による再現性の低さが課題となっていた。

• NeurIPS 2025での合同ワークショップから始まった連携を発展させ、AISIの統計手法や効率化技術を統合した実運用フェーズへ移行する。

• 英国AI安全性研究所（UK AI Security Institute：UK AISI、AIモデルの安全性評価やリスク検証を行う英国の政府機関）が、AI評価結果をオープンに共有するためEvalEvalのインフラストラクチャを採用したことが明らかになった。EvalEval Coalitionが2026年9月22日に発表した。両組織がこれまでに進めてきた共同研究の成果を実運用へと移行させ、AI評価科学における再現性と検証可能性の向上を目指すという。

背景にある評価結果の再現性とコストの課題

近年、AIシステムの社会実装や展開が急速に進むにつれて、モデルやシステムの性能や安全性を裏付ける証拠として評価（ベンチマーク）結果の果たす役割は極めて大きくなっている。

しかし現状では、評価結果が多種多様なフォーマットや個別のプラットフォーム、各種メディアに分散して報告されていることが課題となっている。多くの場合、外部の研究者や第三者が同一の結果を再現するために必要な実行パラメータや環境といった情報が十分に開示されていないという。

さらに、現代の大規模モデルを対象とした評価プロセス自体が極めて計算資源を消費するため、第三者が同一の検証を再実行しようとすると莫大なコストがかかる点も、検証を困難にする要因として指摘されている。

EvalEvalが提供する共有スキーマとプラットフォーム

EvalEvalは、こうした評価エコシステムの課題を解決するため、共通化された情報構造の普及を推進している。今回の取り組みでは、主に2つの核となる仕組みが活用される。

1つ目は、共有レポートスキーマである「Every Eval Ever（EEE）」だ。これは、評価手順や条件、得られた数値を統一的なデータフォーマットで記述するための枠組みである。AISIから提供されたフィードバックを取り入れることで、より実践的なスキーマとして設計が進められてきた。

2つ目は、オープンプラットフォームの「Evaluation Cards」である。これは、AIモデルの評価結果と、その結果を正確に解釈するために必要な詳細情報を共通の構造で集約・提示する仕組みだ。これにより、評価結果の散在を防ぎ、誰でも必要な前提情報を揃えた形でデータを参照できるように設計されている。

AISIとの共同研究の経緯と統合される技術

AISIとEvalEvalの連携は、NeurIPS 2025（機械学習分野における主要な国際学術会議）の併催イベントとして実施された合同ワークショップにおける共同研究から始まった。両者はこれまで、評価レポートに存在する情報ギャップの特定や、それを埋めるための共有インフラの要件定義を進めてきた。今回の発表は、そのインフラを実際の評価結果の共有に適用する新たなフェーズに位置づけられる。

この共有基盤は、AISIが独自に進めてきた評価の高度化に向けた取り組みとも連携している。具体的には以下の技術や手法が挙げられている。

• OptStop: 評価プロセスを効率化するための手法。
• HiBayES: 階層ベイズモデリング（複数の層に分かれたデータ構造を統計的に推定する手法）を適用し、大規模言語モデル（LLM）評価の統計的厳密性を高める手法。
• 標準化の推進: トランスクリプト分析（モデルとの対話履歴や実行ログの解析）や、能力抽出（capability elicitation：プロンプトや設定を調整してモデルの真の能力を引き出す手法）といった領域における標準化。

トランスクリプト単位の透明性確保に向けて

両組織の連携においては、集計されたスコアだけでなく、トランスクリプト（詳細な対話ログや実行履歴）レベルでの透明性を確保することが極めて重要であると説明されている。詳細な実行ログが開示されることで、評価の再現性向上にとどまらず、モデルがどのようなプロセスで出力を生成したのかを検証できるようになるためだ。

AISIとEvalEvalは今後も、評価結果の報告における課題の診断と共有インフラの拡充を共同で進め、信頼性の高いAI評価エコシステムの確立を図っていくとしている。