ABEJA、NVIDIA「Nemotron 3 Nano」を活用した日本語・金融特化LLMのSFT実験結果を公開

要点

• 株式会社ABEJAは、NVIDIAのオープンモデル「Nemotron 3 Nano Base」を用いた日本語汎用能力の強化および金融特化SFT（教師あり微調整）の実験結果を公開した。
• 本開発は、NEDO事業において一般社団法人AIデータ主権共創機構（CODAS）より委託を受けた「プライバシーファーストAI」向け産業特化型LLM構築の一環として実施された。
• 学習は汎用的な日本語能力を獲得する「Stage 1」と金融ドメインに特化する「Stage 2」の2段階に分けて行われている。
• ベースモデルのNemotron 3は、MambaとTransformerを組み合わせたハイブリッドMoE構成や高い推論スループット、学習レシピの透明性が評価され採用された。

---

株式会社ABEJAは2026年9月30日、同社公式技術ブログにおいて、NVIDIAの大規模言語モデル（LLM）「Nemotron 3 Nano Base」を対象とした汎用日本語能力の強化および金融ドメイン特化に向けたSFT（Supervised Fine-tuning：教師あり微調整）の実験結果を公表した。

本取り組みは、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が推進する研究開発事業のもと、一般社団法人AIデータ主権共創機構（CODAS）から委託を受けて進められているものである。企業がセキュリティ上の懸念を持たずに産業データを利活用できる「プライバシーファーストAI」の確立に向け、初期段階として金融・保険領域に焦点を当てた産業特化型LLMの開発が進められている。

プロジェクトの背景と開発体制

ABEJAが参画しているのは、NEDOの「ポスト5G情報通信システム基盤強化研究開発事業／データの秘匿性を考慮した効率的なAI学習手法の開発」事業である。当該事業の実施委託先として採択されたCODAS（Co-creation Organization for Data Sovereignty in AI）は、プライバシー保護AI技術の研究開発や社会実装、データ主権を尊重したエコシステムの設計を目的とする非営利組織だ。

同プロジェクトにおいてABEJAは中核となる産業特化型LLMの構築を担当している。現在は初期対象である金融・保険領域に向けた開発が行われており、今後は製造業をはじめとする他の主要基幹産業へと順次対象範囲を拡大していく計画としている。

ベースモデル「NVIDIA Nemotron 3」の選定理由

今回の開発でベースモデルとして選定された「NVIDIA Nemotron 3」は、モデルの重みや学習データセット、学習レシピが公開されているオープンモデルファミリーである。アーキテクチャには、状態空間モデル「Mamba」と「Transformer」を組み合わせたハイブリッドMoE（Mixture of Experts：専門家混合）構造が採用されており、最大100万（1M）トークンのコンテキスト長に対応している。

同ファミリーには小型の「Nano（30B-A3B）」から中型の「Super（120B-A12B）」、大型の「Ultra（550B-A55B）」、マルチモーダル対応の「Nano-Omni」などのバリエーションが存在する。ABEJAが開発に本モデルファミリーを採用した理由として、以下の4点が挙げられている。

1. 豊富なサイズバリエーション: 小型モデルで試行錯誤を重ねた知見を大型モデル開発へスムーズに適用できる点。
2. Baseモデルの公開: 事後学習（アライメントなど）が施される前のチェックポイントが提供されている点。
3. 再現性と拡張性の高さ: 学習レシピやデータセットが詳細に公開されており、NeMo RL等のツールを活用した追加学習や手法の拡張が容易である点。
4. 優れた推論スループット: 実利用環境において高速な処理性能を発揮する点。

今回の実験では、これらの利点を活かして「Nemotron 3 Nano Base」を用い、学習ツールとして「NVIDIA NeMo RL」を使用したSFTが実施された。

汎用・金融特化に向けた2段階のSFTアプローチ

本実験におけるSFTは、汎用的な日本語能力を高める「SFT Stage 1」と、金融ドメインへの適応を図る「SFT Stage 2」の2段階に分割して設計された。

• SFT Stage 1（汎用SFT）: 英語および日本語のSFTデータを幅広く混合して学習を行い、後続の特化モデル開発において共通の土台となるベースモデルを構築した。
• SFT Stage 2（金融特化SFT）: Stage 1で作成したモデルに対し、金融特化用SFTデータの混合比率を大幅に引き上げて追加学習を実施した。

学習プロセスを2段階に分けた理由について同社は、金融分野に限らず多様な産業ドメインや特定タスクへ展開する際に共通利用できる基盤モデルを整備したかったこと、ならびに実験開始時点における金融特化データの蓄積規模が限られていたことを挙げている。

評価環境と今後の検証

モデルの汎用性能の測定には、東工大主導の「Swallow Leaderboard v2」で採用されている評価フレームワーク「swallow-evaluation-instruct」をベースとした検証環境が用いられた。具体的には、日本固有の知識を問う「JamC-QA」、幅広い知識や推論能力を測定する「MMLU-ProX Japanese」および「MMLU-Pro」、科学分野の高度な推論を測る「GP」などのベンチマークを通じて多角的な性能評価が行われている。

ABEJAでは、今回構築したStage 1の汎用モデルを基盤として、金融領域にとどまらず他ドメインや特定タスクに特化したモデル開発の検証も引き続き進めているという。