小型LLMの性能を引き出すエージェント設計、NVIDIAが「KDD Cup 2026」準優勝の知見を公開

要点

• NVIDIAのKGMONチームが、データ分析AIエージェントの競技会「KDD Cup 2026 Data Agents」で2位を獲得した。

• 指定の小型モデル「Qwen3.5-35B-A3B」を固定で使う条件下で、周辺の制御基盤（ハーネス）を最適化して高い精度を達成した。

• CSVやJSONを単一のSQLiteに統合し、利用ツールを絞り込むことでエージェントの判断ミスを抑制した。

• 文書解析をメイン推論から分離し、実行ログを専用エージェントで分析して改善を重ねる仕組みを構築した。

• 米NVIDIAのエンジニアらによる「KGMON」チームが、データ分析AIエージェントの競技会「KDD Cup 2026 Data Agents」で準優勝を果たしたことが明らかになった。同チームは2026年10月8日、同社公式技術ブログでシステムの設計手法を公開した。使用モデルが小型LLMに制限されるなか、モデル周囲の実行基盤（ハーネス）の動作を制約して検証性を高めるアプローチが成功の要因だったと説明している。

小型モデルを前提とした開発アプローチ

KDD Cup 2026のデータエージェント部門は、データベースや各種ファイル、文書、動画など多様なデータをもとに、自然言語の質問へ回答する精度を競う。単なる情報検索にとどまらず、データ調査からツールの選定、複数ソースの統合推論、結果ファイルの生成まで自律的にこなすことが求められた。

大会規定により、使用するLLM（大規模言語モデル）はオープンソースの小型モデル「Qwen3.5-35B-A3B」に固定されていた。モデル規模を変更できないため、エージェントを制御する実行基盤「ハーネス」の設計が勝敗の鍵となったという。チームはモデルに過度な自由度を与えず、前処理やツールの制限によってタスクを単純化する方針をとったとしている。

信頼性を支える「制約」と「検証性」

システム設計にあたり、チームは2つの原則を重視したという。

1つ目は「行動空間の厳格な制限」だ。確認手順やツール、出力形式の選択肢が多すぎると判断ミスを招きやすい。そのため、アクセス窓口を一本化し、提供ツールを少数に絞り、回答出力の経路も統一した。

2つ目は「すべての試行を検証可能にすること」である。ツールの誤用やテーブル結合の誤りなどの失敗要因を特定できるよう、実行ログの記録と試行の再現を徹底したとしている。

データの単一インターフェース化と事前探索

具体的な実装として、チームは構造化データのアクセス窓口を統一した。CSVやJSONファイルを事前に単一のSQLite（軽量な組み込み型データベース）へ取り込み、すべてをSQLで扱えるよう変換した。

エージェント環境には、スキーマ確認用の「schema()」とクエリ実行用の「sql(query)」という2つの独自関数のみを用意した。問い合わせ手段を絞ることでツールの選択ミスを防ぎ、限られたモデルの推論能力を分析に集中させたという。また、推論開始前にテーブル構造や結合キー、データ不備を把握させる事前探索ステップを導入し、精度の向上につなげたとしている。

最小限のツールと文書処理の分離

提供ツールは前述の関数に加え、回答保存用の「write_answer(df)」や文書補助用の「prose_helper()」など最小限に絞られた。誤った呼び出しはミドルウェアが自動修復し、中間結果は永続状態として保持された。

文書などの非構造化データは、メインの推論ループから切り離して処理された。プレビューや正規表現（文字列の照合パターン）検索で絞り込んだ後、温度（temperature）ゼロの独立したLLM呼び出しで必要な情報のみを抽出した。生の文章全体をメインの対話履歴に持ち込ませないことで、推論の混乱を防いだという。

ログ分析による改善サイクル

実行時のプロンプトやツール呼び出し、中間結果はすべてトレースとして記録された。チームはログを分析する専用のインスペクターエージェントを設け、失敗要因を自動分類してハーネスの改良に反映させたという。

同チームは、今回の手法があらゆる分析エージェントへの万能な処方箋ではないとしつつも、信頼性の向上にはモデルの自由度を広げるよりも適切なハーネスを構築することが重要であると結論づけている。