ServiceNow、企業特有の環境に適したAIエージェント学習データ生成手法「AutoSynthData」を発表

要点

• ServiceNowの研究部門「ServiceNow CoreAI」は2026年10月2日、企業向けAIエージェントの訓練データを自動生成するフレームワーク「AutoSynthData」を発表した。

• 本手法は、学習対象モデルの失敗と上位の教師モデルの成功を比較分析し、克服すべき弱点に焦点を当てたタスクを自動生成・検証して段階的に学習させる。

• 有用な訓練タスクの条件として「実現可能性」「現実性」「難易度」の3要素を定義し、正しく成否を評価する検証器の要件も明文化した。

• 検証基盤としてベンチマーク環境「EnterpriseOps Gym」を採用し、生成パイプラインを通じて作成されたデータセットをHugging Face上で公開している。

• 米ServiceNowのAI研究部門であるServiceNow CoreAIは2026年10月2日、企業固有のシステム環境や業務ルールに適応するAIエージェントの訓練データを自動生成する技術「AutoSynthData」を発表した。

• 汎用的な基盤モデルでは対処が難しい業務環境特有のエラーやツールの誤用といった弱点を特定し、適切な難易度のタスクを動的に合成してモデルの学習を支援するという。

• 同社は本手法の検証に用いた「EnterpriseOps Gym」に基づくデータセットも併せて一般公開している。

企業固有の環境におけるエージェントの課題と訓練データの不足

企業が実務にAIエージェントを導入する際、社内で利用されている個別のシステム構成や順守すべき社内規定、データの状態に適応した動作が求められる。
一般的なベンチマークで高い性能を持つモデルであっても、特定の業務フローの処理が稚拙であったり、ツールの組み合わせを誤ったり、業務上の制約に違反したりといった問題が生じる場合がある。

こうした弱点を改善するにはモデルの再学習が必要となるが、単一の失敗事例をそのまま学習させるだけでは不十分であり、同じ能力を多様な状況で鍛える多数のタスクを用意しなければならない。
しかし、実際の業務環境において実行可能であり、現実的な依頼内容に即しており、かつエージェントの成否を確実に判定できるタスクを大量に手作業で準備することは極めて困難だったという。

モデルの習熟度に応じて課題を動的生成するパイプライン

AutoSynthDataは、学習対象となるターゲットモデルが失敗した事例と、より高性能な教師モデル（手本となる回答を示す上位の大規模モデル）が成功した事例を照らし合わせることで、次に何を学習させるべきかを判断する。
特定された能力差を埋めるための新たなタスクを自動的に生成・検証し、訓練用データとして供給する仕組みとなっている。

エージェントの学習が進んで能力が向上すると、カリキュラム学習（モデルの成長に合わせて提示する課題の難易度を段階的に引き上げる手法）のように、システムはエージェントが依然として苦手としている領域へとタスク生成の焦点を自動的にシフトさせる。
これにより、常にその時点のモデルにとって最も学習効果の高い課題を与え続けることができると説明している。

有効な訓練タスクを構成する3つの要件

ServiceNow CoreAIは、エージェントが動作する環境（観測や変更が可能な状態、利用可能なAPI、行動による状態遷移）において、タスクを「システム仕様」「ユーザープロンプト」「検証器」という3つの抽象化された要素で定義している。
システム仕様は、エージェントが従うべきシステム指示や環境ポリシー、初期のデータベース状態などを規定するものであり、環境の仕様と整合し、難易度を吊り上げるためだけの作為的な制約を排除した明確な内容であることが求められる。

また、ユーザーがエージェントに要求する「ユーザープロンプト」については、以下の3つの特性を満たす必要があるとしている。

• 実現可能性（Feasibility）: 定義された環境と制約の中で、プロンプトの指示を達成できる行動軌跡（エージェントが実行した一連の操作履歴）が少なくとも1つ存在すること。利用できないツールや不可能な状態遷移に依存するタスクを排除する。
• 現実性（Realism）: ターゲットとなる環境において、実際の人間が要求する可能性が高い自然な業務シナリオであること。システム上で実行可能なすべての挙動の中から、現実的な業務フローに該当するものに絞り込む。
• 難易度（Difficulty）: 対象エージェントの現在の弱点を突いた内容であること。すでに安定して解けるタスクは学習効果が低いため、「実現可能かつ現実的でありながら、まだ確実には解けない」領域のタスクが訓練データとして有用となる。

正確な評価を下すための検証器（Verifier）の設計基準

エージェントが実行した結果がタスクを達成したかを判定する「検証器」の設計も、学習成果を左右する重要な要素として位置づけられている。
検証器の判定基準が甘すぎると不正な挙動を誤って学習させてしまい、逆に厳格すぎると正当な代替手順を不当にペナルティとして扱ってしまうためだ。
同社は検証器が満たすべき性質として、以下の3基準を挙げている。

• 一貫性（Consistency）: プロンプトの指示、システム仕様、および環境状態と矛盾なく合致していること。
• 健全性（Soundness）: タスクの目的を果たしていない軌跡や、制約に違反した手順を確実に不合格と判定すること。
• 完全性（Completeness）: あらかじめ用意された特定の模範手順だけを正解と見なすのではなく、有効な解決策であれば異なる手順であっても正解として受け入れること。

ベンチマーク環境「EnterpriseOps Gym」とデータセットの公開

ServiceNow CoreAIは、このAutoSynthDataパイプラインの実証例として、2026年にMalayらによって発表された企業業務環境ベンチマーク「EnterpriseOps Gym」を用いた実験を行っている。
パイプラインによって生成・検証されたデータセットはHugging Face上で「EnterpriseOps-Gym」として公開されており、企業向けAIエージェントの能力向上に向けた研究開発に活用できるようになっている。