AIエージェントの実行結果をデータベースの最終状態で厳密評価する「ThinkingBox」、マイクロソフトとHugging Faceが公開

要点

• マイクロソフトとHugging Faceが、AIエージェントの実行性能を評価する新たなベンチマーク基盤「ThinkingBox」を発表した。

• テキスト出力やツール呼び出しの形式ではなく、処理後にデータベースへ実際に残された最終状態や副作用をもとに合否を判定する。

• 12種類のLLMによる約12万回の試行では、失敗したケースの約67％がエラーなく正常終了していたにもかかわらずデータベースの記録に誤りがあった。

• 業務での信頼性を検証するため、単発の成功率だけでなく、同一タスクを20回連続で成功できるかを測る指標「Observed 20/20」を導入した。

• 507件の業務ワークフローを収録した検証環境が、Hugging Faceの「OpenEnv」を通じてオープンに提供されている。

• マイクロソフトとHugging Faceは2026年10月3日、AIエージェントが実行した処理の正確性と一貫性を評価するベンチマーク基盤「ThinkingBox」を共同で発表した。本基盤は、AIが生成した回答文やツール呼び出しの成否ではなく、処理完了後にデータベース等のバックエンドに残された最終状態や副作用を直接検証する仕組みを備えている。あわせて公開された大規模な検証結果では、エラーを出さずに正常終了したエージェントの多くが、実際にはデータベース上に誤った値を書き込んでいた実態が明らかになった。

ツール呼び出しの成功と「実際の処理結果」に生じる乖離

従来のAIエージェント評価では、生成されたテキストの妥当性や、外部ツールを呼び出すAPIリクエストが正常に発行されたかどうかが指標として用いられることが多かった。しかしThinkingBoxの開発チームは、ツール呼び出しが正常に完了していても、書き込まれたデータが間違っていたり、意図しない変更が加わっていたりするケースが少なくないと指摘している。

ブログ記事では具体的な失敗例として、配送センターで15日間滞留している745ドルの家電に関するカスタマーサポート業務が紹介されている。この事例でAIエージェントは、注文照会、配送状況の追跡、顧客情報の確認、返金ポリシーの検索、チケット作成、経緯の記録など、計9回にわたって適切なツール呼び出しを実行した。さらに「配送遅延の補償対象外である」という規約も正しく解釈していた。

しかしエージェントは、配送例外が未解決であるため本来は「保留（on hold）」とすべきサポートチケットを「解決済み（resolved）」として終了させ、顧客に対して定型的な案内を返してしまった。ツールの呼び出し履歴やデータベースへの書き込み有無だけをチェックする評価手法では「正常」と判定されてしまうが、実際のデータベースに残されたチケットステータスという最終結果において、要件との不一致が発生していたという。

12万回超の試行で判明した「見かけ上の正常終了」と失敗の内訳

研究チームは、12種類のLLM（大規模言語モデル）を対象に、ThinkingBoxを用いて計12万1,680回の有効な試行を実施した。その結果、全体の過半数を超える7万9,853回の試行が、バックエンドの状態をチェックする実行可能チェック（executable checks）で不合格となった。

注目すべき点として、不合格となった試行のうち67.24%は、何のエラーも報告せずに処理を正常終了し、データベース変更ツールも正常に呼び出していた。外見上は問題なく動作しているように見えながら、バックエンドのデータを詳細に検証すると、以下のような不整合が重複して確認されたという。

• 不正なフィールド値: 不合格となった試行の77.61%で、指定と異なる値が記録されていた。
• 意図しない余分な副作用: 不合格となった試行の43.30%で、本来行うべきではない不要な変更やデータの作成が行われていた。
• 必要な副作用の欠落: 不合格となった試行の25.36%で、実行されるべきデータの更新や作成が行われていなかった。

開発チームは、「エージェントの実行履歴（トラジェクトリ）は主張にすぎず、データベースの状態こそが証拠である」と述べており、ログやテキストの表面的な観察だけではエージェントの業務遂行能力を正しく判定できないことを強調している。

実務での信頼性を測る「20回連続成功」と3つの評価指標

ThinkingBoxでは、業務利用におけるAIエージェントの再現性を厳しく評価するため、すべてのタスクを同一のクリーンなバックエンド環境から20回独立して実行する方式を採用している。例えば、返金処理を1回正しく実行できても、その後の4回で誤った処理を行うエージェントは実用的な信頼性を備えているとは言えないためである。

ベンチマークでは、以下の3つの指標を算出して報告している。

• pass@1: 全試行の中で成功した割合。従来のリーダーボードで一般的に公開されている平均的な単発成功率を示す。
• pass@20: 20回の試行のうち、少なくとも1回タスクを解決できた割合。エージェントがそのタスクを原理的に解決可能かという「能力の幅広さ」を示す。
• Observed 20/20: 全507タスクのうち、記録された20回すべての試行で連続して成功したタスクの実数。統計的な推計やスムージングを行わない、純粋な「一貫性と確実性」を示す。

Hugging FaceのOpenEnvを通じて公開

ThinkingBoxは、単離されたMCP（Model Context Protocol：AIモデルと外部ツールを接続するオープン標準仕様）のツールセッション上でエージェントを実行し、処理終了時のバックエンド状態を判定する構成となっている。

現在、ThinkingBoxはHugging Faceの環境実行フレームワーク「OpenEnv」（thinkingbox_env）を通じて提供されており、研究者や開発者が自身の環境でベンチマークを実行できるようになっている。また、詳細な検証手法を記した論文（arXiv:2608.19741）や、テストケースのデータセットリポジトリ（microsoft/thinkingbox-data）もあわせて公開されている。