Docker Sandboxesを活用したAI評価の再現性担保、オープンソース「SBX AI Evaluation Kit」が公開

要点

• Docker CaptainのKaran Verma氏が、AI評価ワークフローの再現性を高めるオープンソースツール「SBX AI Evaluation Kit」を公開した。

• 評価の定義と実行環境を分離する抽象化層を備え、設定の切り替えのみでホスト実行とDocker Sandboxes実行を選択できる。

• 実行コマンド、標準入出力、終了コード、所要時間をJSON形式のログとして保存し、設定ファイルのダイジェスト値と紐付ける。

• 複数の評価をまとめて実行する評価スイートに対応するほか、回帰テストやセキュリティ分析など一般的な開発工程への応用も想定されている。

• 2026年9月2日、Dockerの公式ブログにおいて、Docker CaptainのKaran Verma（カラン・ヴェルマ）氏により、AI評価ワークフローの再現性を担保するオープンソースツール「SBX AI Evaluation Kit」が公開された。

• 同ツールは、ホスト環境から隔離された安全な実行環境を提供する「Docker Sandboxes」を活用し、AIモデルやエージェントの評価処理を一貫した環境で実行・記録するための拡張キットである。

• 評価内容の定義と実行場所を分離する設計を採用しており、実際にどのようなコマンドが実行され、どのような結果が得られたのかを実行証拠として客観的に記録できる点が特徴だという。

実行環境の差異による再現性の課題

Verma氏によると、近年は多様なベンチマークや評価ライブラリ、モデルAPIが提供され、AIの性能評価を手軽に開始できる環境が整っている。しかし、プロンプトやモデル、スコアリング手法を固定していても、実行環境の差異によって結果の再現が困難になるケースが多いという。
Pythonの依存パッケージの更新やローカル環境の差異、文書化されていないセットアップ手順などが原因となり、あるマシンで動作した評価が別のマシンでは異なる挙動を示すことがある。同氏は、従来の議論が「何を測定するか」という評価内容に集中する一方で、「どのように実行するか」という実行レイヤーの管理が見過ごされがちであったと指摘している。

評価定義と実行環境を分離するExecutor抽象化

こうした課題を解決するため、Verma氏は「SBX AI Evaluation Kit」を開発した。同ツールは新たなAI評価フレームワークではなく、指定されたコマンドを安定して実行し、実行時の証拠（ランタイムエビデンス）を保存することに特化したDocker Sandboxesの拡張キット（Mixin Kit）として位置づけられている。AIモデルの推論実行や自動判定そのものを行う機能は含まれていない。
同ツールの中心的な特徴は、評価の定義と実行環境を切り離した点にある。評価内容はYAML形式のファイルで定義され、実行場所を抽象化する「Executor（エグゼキューター）」レイヤーが導入されている。
設定ファイル内の記述に応じて、ホスト環境でコマンドを実行する「local」エグゼキューターと、Docker Sandboxesの隔離環境へ委譲する「sbx」エグゼキューターを選択できる。これにより、ローカル環境で作成した評価ワークフローの記述自体を変更することなく、設定の1行を書き換えるだけでDocker Sandboxes上での実行へ切り替えられるとしている。
また、同リポジトリはSBX Mixin Kitとしてパッケージ化されており、Claudeのサンドボックス起動時（sbx run claude --kit .）などに適用して直接実行することが可能だという。

実行ログの構造化保存と決定論的リンク

SBX AI Evaluation Kitでは、コマンドの実行に伴い、客観的な実行データがJSON形式のアーティファクト（成果物データ）として記録される。
保存される情報には以下が含まれる。

• 選択されたExecutor（実行環境の種類）
• 実際に実行されたコマンド
• 標準出力（stdout）および標準エラー出力（stderr）
• プロセスの終了コード（exit_code）
• 実行所要時間（ミリ秒単位のduration_ms）
  さらに、評価設定ファイルのダイジェスト（データの一意性を示すハッシュ値）が自動生成され、設定と出力結果が決定論的に関連付けられる。これにより、「何を実行する予定だったか」という設定情報だけでなく、「実際に何が実行されたか」という確実な証拠を残すことができるとしている。

評価スイートへの拡張と他分野への応用

実際の開発では単発のテストにとどまらず、プロンプトの比較やバージョン間の回帰テストなど、多数のシナリオを評価する必要がある。これに対応するため、同ツールでは複数の評価定義をまとめて実行できる「評価スイート」機能が備わっている。
評価スイートを実行すると、個々の評価ごとに構造化されたアーティファクトが作成されるとともに、実行全体を集約したサマリーレポートも出力される。
Verma氏は、この再現可能な実行手法はAI評価にとどまらず、幅広いエンジニアリング業務に応用できると述べている。開発環境やセットアップ手順をKitとしてパッケージ化する手法を用いることで、回帰テストやセキュリティ分析、ポリシーチェック、コード生成実験など、一貫した実行環境と検証可能な結果が求められる各種ワークフローにも活用できるとしている。

公開情報

SBX AI Evaluation Kitのソースコードおよびサンプルの評価定義ファイルは、GitHub上のリポジトリ（karanverma/sbx-ai-eval-kit）にてオープンソースとして公開されている。