OWN NEWS GATHER
← 戻る
NVIDIA Technical Blog

NVIDIA、「Nemotron 3 Ultra」の精度をファインチューニングなしで向上させるLangChain向け「ハーネスエンジニアリング」の手法を公開

要点

  • NVIDIAの技術ブログが、オープンソースのAIモデル「NVIDIA Nemotron 3 Ultra」の精度を、ファインチューニングなしで商用の最先端モデルに近づける「ハーネスエンジニアリング」の手法を公開した。

  • LangChainが提供する「エージェントハーネスプロファイル」を活用し、プロンプトの調整やカスタムミドルウェアの挿入、不要なツールの除外などを行うことで、モデルの性能を最適化する。

  • 評価ベンチマークと、LangSmith Engineなどの自動化ツール（ralphループ）を活用した反復的な検証により、過学習や性能の回帰を防ぎながら効率的にプロファイルを改善できる。

  • テストに必要な環境として、Python、LangChain Deep Agents、NVIDIA Nemotron 3 UltraのAPIキー、および動作トレース収集用のLangSmithアカウントが挙げられている。

  • NVIDIAの技術ブログ（NVIDIA Technical Blog）は2026年7月8日（現地時間）、同社のオープンソース大規模言語モデル「NVIDIA Nemotron 3 Ultra」の性能を、追加のファインチューニングを施すことなく大幅に向上させる手法を公開した。これは、AIエージェントの実行環境となる「ハーネス」を最適化する「ハーネスエンジニアリング」と呼ばれるアプローチを用いたものである。開発元の担当者であるSean Lopp氏、Matthew Penn氏、Sukrit Rao氏らが、オープンソースのフレームワークである「LangChain Deep Agents」を用いて、商用の最先端モデルに匹敵する精度を実現するための手順を詳しく解説している。

AIエージェントシステムの課題とハーネス最適化の背景

AIエージェント（自律的にタスクを実行するAIシステム）を構築するにあたっては、処理精度と運用コストの間にトレードオフが存在する。最高性能を持つ商用の最先端モデル（プロプライエタリなフロンティアモデル）は高い精度を発揮するものの、コストが高価になる傾向がある。一方で、より効率的なオープンソースのモデルをファインチューニング（特定のタスクに合わせてモデルを微調整すること）して性能を高める手法もあるが、これには専用のハードウェアや高度な専門知識が必要となり、導入のハードルが高い。

この課題に対し、モデルそのものを調整するのではなく、モデルを取り巻くシステム環境である「エージェントハーネス（エージェントが動作する土台となるソフトウェア）」をモデルに合わせてカスタマイズすることで、高い精度を引き出すアプローチが近年注目されている。今回示された手法は、モデル固有の挙動や特性に合わせてエージェント側の制御ロジックを最適化する「ハーネスエンジニアリング（Harness Engineering）」と呼ばれるものである。

LangChainエージェントハーネスプロファイルによるカスタマイズ

LangChain Deep Agents（エージェントシステムを開発するためのオープンソースのフレームワーク）では、モデルごとのカスタマイズを行うための仕組みとして「エージェントハーネスプロファイル（Agent Harness Profiles）」を提供している。このプロファイルを利用することで、モデルの特性に合わせた詳細な制御設定を定義することが可能となる。

プロファイルの調整によって変更できる要素には、主に以下の3つがある。

  1. プロンプトの最適化：ベースとなるシステムプロンプトの変更や、プロンプトの末尾に付与する接尾辞（サフィックス）の適用、ツール説明文の書き換えなど。例えば、Nemotron 3 Ultraに対して「曖昧な場合は確認の質問を行うこと」や「モデル自身の記憶よりもツールから得られた結果を優先すること」といった指示を追加し、動作を矯正する。
  2. ツールの除外（Exclusions）：エージェントの動作に悪影響を与える不要なツールやミドルウェア（処理の中間に割り込むプログラム）を除外する。
  3. 機能の追加（Additions）：エージェントの性能を拡張するため、追加のミドルウェアやサブエージェント（特定の作業を分担する補助AI）を挿入する。例として、モデルの応答が途中で切り詰められていないかをチェックするミドルウェアや、誤ったツール名が指定されていないかを検証する仕組みなどが挙げられる。

これらハーネス側の変更を行う最大の目的は、エージェントからモデルへの呼び出しを、モデルが事前学習の段階で経験したデータパターンに近づけ、モデル本来の性能を最大限に引き出すことにある。

評価と改善の反復プロセス

ハーネスエンジニアリングは、以下の反復的なループによって実行される。
まず、プロファイルを適用しない状態で評価ベンチマーク（性能測定テスト）を実行し、基準値（ベースライン）を記録する。次に、発生したテスト失敗事例を詳細に分析する。例えば、Nemotron 3 Ultraでは、ビルトイン（組み込み）のファイル読み込みツール（read_file）のテストで失敗が発生することがあるという。

分析結果を基に、失敗したケースに対処するためのハーネスプロファイルの変更案（プロンプトの追加や、不足分を補う ReadFileContinuationNoticeMiddleware などのカスタムミドルウェアの導入など）を策定する。最後に、再度ベンチマークを実行し、問題が修正されたこと、かつ他のテストで新たな不具合（回帰。システムの修正によって以前は正常に動作していた機能が損なわれる現象）が発生していないかを確認する。このループを繰り返すことで、特定のテストだけに過剰に適応する「過学習」を防ぎつつ、モデル全体の精度を高めていく。

自動化ツールによる開発の効率化

このようなプロファイルの調整プロセスは、手動だけでなく自動化することも可能である。技術ブログでは、「LangSmith Engine」や「ralphループ（ralph loop）」などのエージェント型提案ツールを活用した自動化手法を紹介している。

これらのツールは、エージェントによる修正範囲に適切な制限（制約）を課しながら、ハーネスプロファイルを自己修正的にブラッシュアップする。複数回のテスト実行において繰り返し合格することを確認し、汎用性の高い（過学習を起こしていない）修正案のみを反映させることで、人間の介入を最小限に抑えながらNemotron 3 Ultraの動作を最適化できる。

導入のための前提条件

本手法を検証・導入するためには、以下の環境が必要または推奨される。

  • Pythonと「LangChain Deep Agents」がインストールされたホスト環境。
  • 「NVIDIA Nemotron 3 Ultra」のAPIキー。テスト目的であれば、NVIDIAが提供する「build.nvidia.com」から無料でAPIアクセスを取得できる。本番運用（プロダクション環境）においては、Baseten、Crusoe、Fireworks、Nebius、Together AIといったNVIDIAのクラウドプロバイダーが提供するエンドポイントの利用が推奨される。
  • 動作プロセスのトレース（実行ログ）を収集するための「LangSmith」のアカウント（推奨）。

補足

なお、NVIDIA Nemotron 3 Ultraは、APIキーがあればクラウド経由で手軽に呼び出すことができるため、ローカル環境に高スペックなGPU（グラフィックス処理プロセッサ）等のハードウェアを導入することなく、本手法による最適化プロセスを試すことが可能となっている。

元URL