Hugging Face、音声合成モデルを客観指標で高速評価する「Open TTS Leaderboard」を公開──評価期間を数週間から数時間へ短縮
要点
- Hugging Faceは2026年9月30日、多言語テキスト音声合成（TTS）および音声クローニングモデルを評価する「Open TTS Leaderboard」を公開した。
- 音声認識モデルによる誤り率や推論速度、話者類似度といった客観指標を用い、従来は数週間要していた評価期間を数時間へ短縮した。
- 人間による聴取比較（アリーナ形式）が抱えていた評価の遅さや投票基準のブレ、オープンソースモデルの反映遅れといった課題に対処する。
- 英語ベンチマークの初期結果では、「Kokoro-82M」「supertonic-3」「s2-pro」などが高い明瞭度を示している。
オープンソースAIプラットフォームを運営するHugging Faceは2026年9月30日、多言語テキスト音声合成（TTS: テキストから音声を生成する技術）および音声クローニングモデルの性能を客観的に測定・比較するベンチマーク「Open TTS Leaderboard」を公開した。膨大に登場するモデルを自動的かつ迅速に評価する環境を整えることで、開発コミュニティにおけるモデル比較や選定を支援する。
急増するオープンソースモデルと人間評価の限界
Hugging Face Hub上には2026年9月30日時点で8,000を超えるTTSモデルが登録されており、オープンソースにおける音声生成モデルの開発は急速に進展している。一方で、生成された音声の品質評価は断片化しており、標準化が進んでいない状況が続いていた。
音声評価の代表的な基準としては、人間の聴取による主観評価スコア（MOSやMUSHRAなど）が知られている。これをもとに、2つのモデルが生成した音声をユーザーに聴き比べさせて勝敗を判定し、Eloレーティング（対戦結果から相対的な実力を算出するスコア）を算出する「アリーナ形式」のリーダーボード（TTS Arena v2、Artificial Analysis、Voice Arenaなど）が広く活用されてきた。
しかし、同社によるとアリーナ形式にはモデルの増加ペースに追いつけない構造的な課題があるという。商用APIモデルはAPIキーの登録だけで評価に追加できるのに対し、オープンソースモデルは運営側がサーバーを用意してホスティングする必要がある。その結果、たとえばArtificial Analysisでは掲載されている92モデル中オープンウェイトのモデルが16件にとどまるなど、オープンソースモデルの掲載が遅れる要因となっていた。さらに、投票者の評価基準が一定でなく、同一人物の評価基準であっても時間経過によって変化するという一貫性の問題も指摘されている。
3つの客観指標による包括的かつ迅速な測定
こうした課題を受け、公開された「Open TTS Leaderboard」では、人間の主観投票に頼る代わりに以下の3つの客観的指標を採用して多角的な評価を行っている。
- 明瞭度（Intelligibility）
入力テキストと生成音声を文字起こしした結果を照合し、単語誤り率（WER: 音声認識結果における単語レベルの誤り割合）および文字誤り率（CER）を計測する。文字起こしには、同社のオープン音声認識リーダーボードで上位の「Qwen3 ASR」モデル（Qwen3-ASR-1.7B-hf）が使用される。 - 処理速度と遅延（Speed）
NVIDIA H200 GPUを用いたバッチ処理での逆リアルタイム因子（RTFx: 実時間に対して何倍の速さで音声を生成できるかを示す比率）と、H200 GPUおよびCPU環境におけるストリーミング生成時の初期遅延（TTFA: 音声生成要求から最初の音声が出力されるまでの時間）を計測する。 - 話者類似度（Speaker similarity）
音声特徴量を抽出するWavLMモデルを用いて参照音声と生成音声の特徴ベクトルを抽出し、そのコサイン類似度（ベクトルの向きの近さから類似性を測る指標）によって声の同一性がどの程度保たれているかを算出する。
客観指標に基づき自動化されたパイプラインを用いることで、従来は投票を集めるために数週間を要していた1モデルあたりの評価時間が、わずか数時間程度に短縮されたとしている。
人間評価との関係と初期ベンチマーク結果
Hugging Faceは、このリーダーボードが人間の主観評価を完全に代替するものではないと説明している。音声認識によるWERは聞き取りやすさの代替指標であり、コサイン類似度は話者の特徴が保たれているかの推定値であって、音声の自然さや表現力、リスナーの嗜好そのものを直接測るものではないためだ。ただし、これらの客観データは、投票ベースのアリーナにどのモデルを追加すべきかを判断するための事前スクリーニングとしても役立つとしている。
リーダーボードの初期画面では、「Seed TTS Eval」およびゼロショット評価用の「CV3 Eval」という2つの評価データセット（英語スプリット）におけるWERのマクロ平均に基づいてモデルが順位付けされている。公開時点の英語WER平均では、「hexgrad/Kokoro-82M」「Supertone/supertonic-3」「fishaudio/s2-pro」といったモデルが上位グループを形成しているという。
同社は今後も評価の妥当性と有用性を維持するため、コミュニティからのフィードバックを受け付けながらリーダーボードを改善していく意向を示している。