Deepgram、音声認識モデル「Nova-3」をAWS Trainium2へ最適化　1ドルあたりの処理音声量が最大70%向上

要点

• 音声AIを展開するDeepgramが、主力の音声認識モデル「Nova-3」をAWSの独自AIチップ「AWS Trainium2」向けに最適化した。

• オフラインのバッチ処理において、従来の計算環境と比べ1ドルあたりに処理できる音声の量が11〜70%向上した。

• 単一のAmazon EC2「trn2.3xlarge」インスタンス上で8つのモデルレプリカを並行稼働させる構成を実現している。

• PyTorchからのNeuron移植やカーネル融合を進め、CPUへのフォールバックなしでの全演算実行を達成した。

• 米Amazon Web Services（AWS）は2026年10月19日（現地時間）、音声AIを手がけるDeepgramが主力音声認識モデル「Nova-3」をAWSの機械学習特化チップ「AWS Trainium2」向けに最適化したと公式ブログで公表した。DeepgramとAWSの技術チームが数カ月かけて共同で取り組み、オフラインバッチ推論において1ドルあたりの音声処理量を最大70%向上させたという。コンタクトセンターの会話分析や医療記録の書き起こしなど、大量の音声データを一括処理するワークロードの運用効率化につながる成果だとしている。

膨大な音声トークン処理と推論コストの課題

Deepgramは音声認識（Speech-to-Text）や音声合成（Text-to-Speech）、音声対話エージェントなどのモデル群を展開し、年間で何千兆（quadrillions）トークンもの音声を処理している。同社のプラットフォームは20万人以上の開発者や1,400以上の組織に利用されており、API経由での提供に加え、Amazon SageMaker AIなどを通じて顧客自身のクラウド環境内でも稼働している。

インフラ予算内でどれだけの音声を処理できるかを左右する「サービング効率（計算資源に対する処理提供の効率）」は、同社にとって極めて重要な課題だ。特にコンタクトセンターの分析や医療分野の文字起こしといった大量のバッチ処理は、計算インフラに重いコスト負荷を与える。限られた機材群で処理量を最大化するには、アクセラレータ（特定の計算を高速化する専用ハードウェア）1時間あたりの効率を高める必要があり、Deepgramは推論効率の改善先としてAWSのAIチップを選択したという。

trn2.3xlargeで8レプリカ稼働、ドルあたり処理量は最大70%増

最適化の取り組みは、DeepgramがNova-3の標準的なPyTorchコードを提供したことから始まった。DeepgramとAWSのFDE（Forward Deployed Engineering：顧客の現場に入り込んで技術支援を行う組織）チームが数カ月を費やし、Nova-3の再構築とハードウェア向けチューニングを進めた。

最終的に導き出された構成では、単一のAmazon EC2「trn2.3xlarge」インスタンス上で8つのモデルレプリカ（並行処理のために複製した同一モデル）を実行している。評価時のインスタンス価格に基づき、スループット（単位時間あたりの処理量）を重視したオフラインバッチ処理で測定したところ、同社が従来運用していた計算環境の選択肢と比べて、1ドルあたり11〜70%多くの音声を処理できたという。

この効率化はDeepgram自身のインフラ運用コスト削減につながるだけでなく、高性能なモデルを低価格で顧客へ提供することを可能にする。また、Amazon SageMaker AIを通じて自社の仮想プライベートクラウド（VPC）内でモデルを自己ホスト運用する顧客にも同様のメリットが及ぶと説明している。

PyTorchからNeuronスタックへの移行と全演算のチップ実行

技術的な最適化の初期段階では、標準的なPyTorchコードからAWS独自のNeuronソフトウェアスタックへの移植が行われた。

実装には、Neuron CompilerのPyTorchネイティブ統合ツールである「TorchNeuron」を採用した。TorchNeuronは即時実行を行うeagerモードと「torch.compile（モデルを最適化された計算グラフへコンパイルする機能）」の両方を備えている。開発チームはまずeagerモードでNova-3を実行してCPUへフォールバック（代替処理）される演算を洗い出した後、torch.compileを適用した。これにより、すべてのモデル演算がCPUに依存せずTrainium2上で完結する実行パスを確立した。

このコンパイルにあたっては、エンコーダー部とデコーダー部がそれぞれ独立した静的形状グラフ（入力テンソルの形状を固定してコンパイルする手法）として分離してビルドされている。

カーネル融合とRust製ランタイムによる性能の引き出し

ベースラインとなる動作環境が整った後、ハードウェアの性能を最大限に引き出すカーネルレベルのチューニングが実施された。Neuronの低レベル制御インターフェース向け公開ライブラリ「NKILib」を活用し、融合QKV射影や融合フィードフォワードネットワーク層、深さ方向1次元畳み込みなどの演算層を、融合カーネル（複数の計算処理を統合してメモリアクセスを減らすカーネル）へと置き換えた。

チューニングの進行中は、CPU出力とのレイヤー単位の出力整合性と、システム全体での単語誤り率（WER：Word Error Rate、音声認識の誤り頻度を示す指標）という2つの基準で数値精度を厳格に確認し、Deepgramの基準値と目標精度を維持した。また、バッチサイズを1から128まで網羅的にテストして最大スループットが得られるサイズを特定した。推論実行時には、Deepgram独自のモデルサーバーからTrainium2を呼び出せるよう、データ並列処理に対応したRust言語製のランタイムが連携している。

補足

AWSとDeepgramは、Amazon SageMaker AI上でNova-3を自己ホスト運用するユーザーに対しても、セットアップの手軽さやシステムの信頼性、オブザーバビリティ（システムの監視性・可観測性）の継続的な向上に向けた協業を進めていると説明している。