NVIDIA、多言語音声認識モデル「Nemotron 3.5 ASR」の方言適応手法を公開　サウジ方言で認識誤り率を半減

要点

• NVIDIAは、多言語音声認識モデル「Nemotron 3.5 ASR」を地域方言に適応させるファインチューニング手法を技術ブログで発表した。

• サウジアラビアのナジュド方言およびヒジャーズ方言の音声データ（計133.7時間）を用いた調整により、単語誤り率（WER）を55.05%から29.96%へと大幅に低減した。

• 既存の学習データを少量混ぜ合わせて再学習する「リプレイミキシング」により、他の方言や英語の認識精度を損なわずに特定方言への適応に成功した。

• 全24層のエンコーダー更新に加え、計算リソースに応じた層の部分凍結や、再学習不要のデコード設定による精度向上策を提示している。

• 話者分離モデル「Nemotron 3 Diarization」と組み合わせることで、最大8人の話者を識別した発話者付き文字起こしにも対応する。

• 米NVIDIAは2026年9月30日、同社のストリーミング音声認識モデル「Nemotron 3.5 ASR」において、既存の多言語認識能力を維持しながら特定地域の方言へ適応させるファインチューニング手法を公開した。サウジアラビアのナジュド方言およびヒジャーズ方言を対象とした検証では、認識誤り率を従来の約55%から約30%へと半減させたという。同社は自社のAI対話フレームワーク「NVIDIA NeMo」を用いた実装ワークフローや具体的な検証結果を明らかにしている。

地域方言への適応と「破滅的忘却」の抑制

自動音声認識（ASR：音声をテキストへ変換する技術）モデルは、事前学習データに多く含まれる標準的な言語や発音には高い精度を示す一方、地域固有の方言や現地の録音環境では性能が低下しやすい課題がある。例えば、現代標準アラビア語や英語に対応した多言語モデルであっても、サウジアラビアのナジュド方言やヒジャーズ方言の認識には苦戦することが多いという。

さらに、対象の方言データのみを用いてファインチューニング（事前学習済みモデルに追加データを与えて特定用途向けに微調整する手法）を行うと、モデルが元々備えていた他言語の認識能力が失われる「破滅的忘却」が発生するリスクがある。Nemotron 3.5 ASRは40の言語・地域をサポートするストリーミング音声認識モデルだが、こうした実環境での展開に向け、既存の性能を維持しつつ方言に適応させるためのパイプラインが設計された。

効率的な適応を実現する4つの技術

今回公開されたワークフローは、ゼロからモデルを学習するほどの大量データはないものの、特定領域に特化させるのに十分なラベル付き音声データが存在する環境を想定している。主なアプローチは以下の通りである。

• 最小限のデータ整理（Minimal curation）：使用不可能なラベルや明らかな位置合わせの失敗のみを除去し、収集が困難でノイズを含みやすい貴重な方言音声を最大限残して学習に活用する。
• リプレイミキシング（Replay mixing）：多言語音声データセット「FLEURS」から過去の学習データを少量、重み付けして混入させることで、他言語の認識精度低下を防ぐ。
• 長さに基づくバケッティング（Length bucketing）：音声の長さごとにデータをまとめて無駄な余白を減らし、ストリーミングエンコーダーの学習効率を向上させる。
• エンコーダーの部分的凍結解除（Partial encoder unfreezing）：パラメータの変更対象を一部の層に限定し、全層を再学習する場合と比べて計算コストとメモリ消費を抑える。

133.7時間の学習で単語誤り率が29.96%に改善

サウジアラビアのナジュド方言とヒジャーズ方言を含む133.7時間の音声データを用いて検証が行われた。その結果、対象テストデータにおける単語誤り率（WER：認識結果に含まれる単語の誤り割合を示す指標）は、調整前の55.05%から29.96%へと大幅に低下した。

同時に、リプレイミキシングの効果により、英語の認識性能も11.04% WERから10.42% WERへとわずかに改善し、他のアラビア語方言の精度も劣化することなく維持されたという。

計算リソースの面では、全24層のエンコーダーをすべて更新した場合に最も低いエラー率を達成したが、その際は2億3,040万（230.4M）個の学習可能パラメータが必要となる。データ量や利用可能なメモリが限られている現場では、一部の層を凍結することで計算負荷を調整できるとしている。

設定変更による追加精度向上と話者分離への拡張

モデルの再学習を行わずに認識精度を高める手法も示された。推論時のアテンションコンテキストを13先読みフレームに拡大し、ビーム幅8のMALSD（beam-8 MALSD）デコーディングを適用することで、WERをさらに絶対値で2.71ポイント削減できる。この設定では約800ミリ秒のレイテンシ（処理の遅延時間）が追加されるため、リアルタイム処理ではなくバッチ処理（一括処理）の文字起こし用途に適していると説明されている。

また、話者分離モデル「NVIDIA Nemotron 3 Diarization」と連携させることで、最大8人の話者を識別し、発話区間と文字起こしのタイムスタンプを正確に対応付けられる。これにより、複数人が同時に発言する環境でも発言者ごとのテキストを高精度に生成できるという。

NVIDIAは、今回のワークフローを再現するためのJupyter NotebookやNeMoフレームワーク用のスキルガイドを公開している。