NVIDIAとIIT Madras、インド22言語に対応する2.8兆トークンの事前学習データと生成パイプラインを公開へ

要点

• NVIDIAとインド工科大学マドラス校のAI4Bharatは、インド22言語を対象とする約2.8兆トークンの事前学習データセット「Nemotron-pretraining-Indic-v1」を近日中に公開すると発表した。

• データセット構築に用いたGPU対応のデータ生成パイプラインとレシピ一式（プロンプトや検証工程）もオープンソースとして無償提供される。

• 数学、コード、Q&Aなどの英語データを基盤とし、固有文字22言語とローマ字表記12言語の計34通りの表記体系に対応する。

• 文書単位の翻訳や品質評価、数式や表、コードを保持する修復処理により、元文書への追跡可能性を維持している。

• 米NVIDIAとインド工科大学マドラス校（IIT Madras）の研究拠点「AI4Bharat」は2026年10月16日、インド諸言語向けの大規模言語モデル事前学習用データセット「Nemotron-pretraining-Indic-v1」およびその生成パイプラインをまもなく公開すると発表した。

• 本データセットは約2.8兆トークンの規模を持ち、インド憲法に規定された22の公用語を網羅している。

• 開発チームはデータ本体に加え、生成レシピ一式をオープンソース化することで、インド言語における学習データの不足解消を支援するとしている。

憲法上の22公用語をカバーする2.8兆トークンの規模

今回発表された「Nemotron-pretraining-Indic-v1」は、インド憲法に規定された22言語を対象とする約2.8兆トークン（AIがテキストを処理する際の最小単位）規模の事前学習コーパス（AIモデルの基礎学習に用いるテキスト集）である。これらの言語は、2011年の国勢調査においてインド国民の97％にあたる約12億人が第1言語としている。
開発はNVIDIAと、インド工科大学マドラス校の言語研究拠点「AI4Bharat」が共同で担当した。AI4Bharatはこれまでにも22言語対応のオープンコーパス「Sangraha」を手がけてきた実績を持ち、今回のリリースによりオープンな合成学習データが大幅に拡充されるという。

インド諸言語におけるAI開発のデータ不足に対処

AI4Bharatを率い、2025年の「TIME100 AI」に選出されたMitesh Khapra氏は、インド諸言語のAI技術が英語に後れをとる主因として「データ不足」を挙げている。
今回の共同プロジェクトは、この課題に応えるものだ。データセット自体の公開に加え、生成手順を併せて無償提供することで、世界中の開発チームが自律的にデータを拡張できる環境の整備を図っている。

数学やコードを含む合成データと厳格な検証

本コーパスは、数学、プログラミングコード、質疑応答といった厳選された英語コンテンツをインド諸言語に展開した合成テキストで構成されている。これにより、技術的概念の解説や問題解決を各言語で行えるモデルの開発が可能になるという。
データの信頼性を担保するため、すべてのレコードは元のソース文書まで遡れる追跡可能性を持つ。生成テキストは入力情報と照合され、事実に基づいた内容が維持されている。
なお開発チームは、地域文化を反映するには人間が執筆した自然なテキストが不可欠であり、今回の合成データはそれを補完するものだと説明している。

実態に即した表記体系：固有文字とローマ字転写

本コーパスは、インドにおける実際の表記実態にも配慮して設計されている。22言語すべての固有文字（ネイティブスクリプト）に加え、日常的に用いられる12言語のローマ字表記（アルファベット転写）も収録し、計34通りの表記体系を網羅する。
生成パイプラインでは、文書単位の翻訳、品質評価、対象を絞った修復処理を組み合わせている。数式、表、プログラムコードなどの重要要素については、翻訳処理に伴う破損や欠落を防ぐ厳密なチェックが行われているという。

GitHubでの生成レシピ公開とモデルでの先行活用

研究チームは、コミュニティがデータを再現・発展させられるよう、生成レシピ一式をGitHub上で公開している。
公開パイプラインには、プロンプト設計、LLMワークフロー、品質チェック手順が含まれる。開発者はコーパスの利用だけでなく、条件を調整して独自の文書から新たなデータを追加生成することも可能だ。
また、本取り組みの成果はビジョン言語モデル「Nemotron 3.5 Super VL」の継続事前学習において、12言語・約100億トークンとしてすでに投入された実績があるという。