NVIDIA、NeMoを用いた金融AI研究向けの合成データ生成ループを発表。50万件超のユニークな見出しを生成

要点

• NVIDIAは、金融分野のAI研究向けに高品質な合成データを多様に生成できる反復型のパイプラインを発表しました。

• 8ウェイのNVIDIA B200ノードを1台用い、約6日間の計算で13のカテゴリーにまたがる50万2,536個のユニークな金融ニュース見出しデータ「FinHeadlineMix」を構築しました。

• 単一の大量生成では65%が重複する課題に対し、生成、グローバル重複排除、カテゴリー重み修正を繰り返すことで約82%の累積重複排除率を達成しました。

• NVIDIA NeMoのData DesignerやCurator、および軽量なNemotron-3-Nano-30B-A3Bモデルを組み合わせて処理を実現しています。

• 生成されたデータセットは稀なイベントを含み、コンパクトな生徒モデルの学習に用いることで教師モデルに近い性能を達成できることが示されました。

• NVIDIAは2026年7月9日、同社の技術ブログにて、金融分野のAI研究に向けた合成ニュース見出しの生成パイプラインを発表しました。この研究は、Dhruv Desai氏、Lavinia Ghita氏、Ioana Boier氏らによって公表されたもので、NVIDIA NeMoプラットフォームと「Nemotron」モデルを活用しています。開発されたパイプラインは、少数のデータから多様なテキストデータを生成し、金融自然言語処理のモデル微調整におけるデータ不足を解消することを目指しています。

• 金融分野の自然言語処理（NLP：コンピューターに人間の言語を処理・理解させる技術）モデルを微調整する際、利用可能なデータの不足や偏りが課題となっています。実際の金融ニュースでは、決算や株価の動きといった一般的な出来事が多くを占める一方、信用格付けの変更や製品の承認、労働問題といった「稀なイベント」はデータが少なく収集が困難です。これらは取引研究やリスク予測において重要ですが、単純に一度に5万件のデータを生成すると、全体の65%が近接重複として削除されてしまうという問題がありました。

• この課題を克服するため、NVIDIAのチームは、生成と重複排除を繰り返す「クローズドループ（閉ループ）」型のパイプラインを構築しました。

• このパイプラインでは、カテゴリーごとに重み付けされたバッチを生成し、不要な出力をフィルターした上で、累積されたデータ全体と照らし合わせて重複排除を行います。さらに多様なフューショット（AIに与える少数の学習用具体例）を選択し、カテゴリー比率を調整して次の生成へと進みます。

• このループを82回反復することにより、最終的に13のカテゴリーにまたがる50万2,536個のユニークな金融ニュース見出しを含むデータセット「FinHeadlineMix」が作成されました。パイプラインにおける累積の重複排除率は約82%に達したと報告されています。

• パイプラインには、NVIDIA NeMoのツールや推論エンジンが組み込まれています。

• 見出しの重み付け生成には「NVIDIA NeMo Data Designer（バージョン0.1.5）」を、重複判定にはデータクレンジングを行う「NVIDIA NeMo Curator（バージョン1.0.0rc0.dev0）」を使用しました。重複排除の基準にはコサイン類似度（テキストの意味的な類似性を表す指標）のしきい値90%を採用し、500個のK-meansクラスタを用いて大規模な重複排除を実施しています。

• また、見出し生成を担当するモデルには、FP8精度の「nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8」を採用しました。このモデルは「vLLM（バージョン0.12.0）」を介して提供され、計算を複数GPUに分割して実行する「4ウェイ・テンソル並列処理」により、448の同時リクエストを処理しました。

• ハードウェアには8ウェイNVIDIA B200ノードを1台使用し、推論処理とRay上で動作するNeMo Curatorによる重複排除にGPUを4台ずつ割り当てて処理しました。障害復旧に備え、各イテレーション（反復）ごとにコーパスの状態やカテゴリーの重み、フューショットのサンプルなどをチェックポイントとして保存し、約6日間の計算で処理を終えました。

• パイプラインの核心として、各カテゴリーで3つのフューショット例を用い、重心から最も遠いサンプルを選択する「farthest-from-centroid（重心から最も遠い）」戦略を導入しています。イテレーション間の類似度カットオフを80%に設定することで、ありきたりな表現を排除し、新規性の高い見出しが生成されるよう制御されています。

• 作成された「FinHeadlineMix」は、モデルの分類や蒸留（大規模なモデルの知識を小さなモデルに継承させる手法）などの下流タスクに最適化されています。稀なイベントをカバーしているため、本データで学習したコンパクトな生徒モデルは、金融NLPベンチマークにおいて教師モデルのF1スコア（モデルの検出精度を表す指標）に近い性能を発揮できると説明しています。