エージェントの作業結果をDBから検証して強化学習の報酬に——マイクロソフトとHugging Face、「ThinkingBox-Training」を公開

要点

• マイクロソフトとHugging Faceは、AIエージェントの作業結果をデータベースの最終状態で検証し、強化学習の報酬とする手法「ThinkingBox-Training」を発表した。

• 「Qwen3.8-27B」を用いた実験では、50ステップの強化学習により平均成功率（pass@1）が51.70%から60.78%へ向上した。

• 20回の試行すべてで正しく完了したタスク数は38から107へと約2.8倍に増加し、作業の再現性が大きく改善した。

• モデルの能力に応じてタスク難易度を事前測定する「オフライン・ポリシー相対難易度」により、効果的な訓練タスクを選定している。

• 関連コードはGitHub上でオープンソースとして公開されている。

• 米マイクロソフトとHugging Faceは2026年10月22日、AIエージェントの事後学習フレームワーク「ThinkingBox-Training」を発表し、GitHub上でコードを公開した。本手法は、エージェントの操作手順ではなく、処理完了後にデータベースへ書き込まれたレコードの状態を検証し、その成否を強化学習（RL）の報酬として利用するものだ。一見正しくツールを呼び出していてもデータが意図通りに更新されていないという、自律型エージェント特有の課題に対処する。

見かけのツール操作ではなく「DBレコード」で成否を判定

今回の取り組みは、両者が共同開発した評価ベンチマーク「ThinkingBox-Bench」の知見を発展させたものだ。同ベンチマークの507タスクでは、エージェントに実環境のバックエンドシステム、MCP（Model Context Protocol：外部ツール接続の標準規格）ツール群、模擬LLMユーザーを与えて作業させる。終了後はデータベースの最終状態に対して検証プログラムを実行し、正しいレコードが残されているかを調べる仕組みとなっている。

従来の評価では、ツール呼び出しが正常に見えても実際のデータ処理が失敗している問題があった。先行記事では、顧客チケットを「解決済み」と処理しながら、背後にある運送業者例外を未処理のまま放置していた事例が報告されている。9回のツール呼び出し自体は適切に見えたが、データベースの1行が不正な状態だった。ThinkingBoxは、どのようなツールを呼んだかという手順ではなく、バックエンドに残されたレコードそのものが正しいかを判定基準としている。

判定結果を強化学習の報酬関数へ転用

開発チームは、この検証プログラムの大半がデータベースの最終状態から「1または0」の合否を直接返せる点に着目した。この実行可能な判定結果は、評価器としてだけでなく、強化学習の報酬関数としても機能する。そこでベンチマーク外のThinkingBox形式タスクから訓練用プールを構築し、データベースの検証結果を報酬とする学習ループを実現した。

タスク選定にあたっては、すでに解ける平易なタスクや難しすぎるタスクは学習効果を生まないという課題があった。タスクの難易度はモデルの方針に依存するため、チームはこれを「オフライン・ポリシー相対難易度」と定義した。学習前のベースモデルで各タスクの成功確率を1度だけ測定し、適切な難易度のタスクを抽出して訓練用プールを固定している。

平均成功率と作業の再現性が大幅に向上

この手法を用い、オープンモデル「Qwen3.8-27B」に対してGRPO（Group Relative Policy Optimization：強化学習アルゴリズムの一種）による50ステップの微調整が実施された。ThinkingBox-Benchの全507タスクで各20回（計1万140回）の試行を行った結果、以下の変化が確認された。

全試行を通じた平均成功率を示す「pass@1」は、ベースモデルの51.70%（5,242回）から60.78%（6,163回）へと9.08ポイント上昇した。さらに、20回すべての試行で正しく完了したタスク数を示す「Observed 20/20」は、38タスク（7.50%）から107タスク（21.10%）へと大幅に増加した。

一方で、20回のうち少なくとも1回成功したタスク数を示す指標「pass@20」は、453タスク（89.35%）から446タスク（87.97%）へと7タスク微減した。訓練によって確実に成功する再現性や信頼性が大きく高まった反面、一度でも解けたタスクの網羅率にはわずかな低下が生じるというトレードオフが示されている。

社内規定の遵守率が改善、GitHubでコード公開

具体的な改善例として、出張時のホテル予約変更タスクが紹介されている。旅行者から客室のダウングレード要求があった際、社内規定によりマネージャーの事前承認が必要とされる設定だ。学習前のベースモデルでは、20回中15回で承認を得ないまま予約変更と返金処理を実行してしまっていた。一方、強化学習後のモデルは20回すべてで未承認の変更を行わずに状態を保持し、うち19回で期待される全レコードと一致した。

本発表はマイクロソフトのMirco Milletari氏、Xiang Jiang氏、Hugging FaceのSergio Paniego氏、元インターンのZhuochun Li氏（ピッツバーグ大学）らの共同によるものだ。関連実装はGitHubの「microsoft/thinkingbox-training」リポジトリで公開されている。