小型言語モデルの語彙特化で推論コストを77％削減、Dharma-AIが新手法「VocabX」を発表

要点

• AI開発を手がけるDharma-AIが、特定タスク向け小型言語モデル（SLM）の語彙を最適化する新手法「VocabX」を発表した。

• 汎用モデルの語彙を引き継ぐと、定型文のトークン断片化や未使用語彙の余計な計算という2つの無駄が生じるという。

• ポルトガル語の作文採点システムにおいて、モデルや学習データを変更せず語彙の再構築のみで推論コストを77％削減した。

• 語彙数を約15万件から約6.5万件へ削減し、頻出する定型表現を1トークンにまとめることで効率化を実現している。

• 成果をまとめた論文は現在査読中であり、近日中に公開される予定だ。

• AIソリューションを開発するDharma-AIは2026年10月21日、特定領域向け小型言語モデル（SLM：数十億パラメータ規模の比較的小さな言語モデル）の語彙を最適化し、推論コストを大幅に引き下げる新手法「VocabX」を発表した。同社が本番運用する作文採点システムを用いた検証では、ベースモデルや学習レシピを変更することなく、推論コストを77％削減できたという。本成果は、近く公開予定の査読中論文に先駆けてHugging Face Blogで公表された。

汎用トークナイザーが引き起こす「2つの無駄」

言語モデルはテキストを「トークン」と呼ばれる細かな単位に分割して処理しており、その分割ルールを決めるのがトークナイザー（テキストをトークンに変換する仕組み）だ。QwenやGemmaといったオープンソースの汎用モデルをファインチューニングして特定タスク向けモデルを作る場合、通常はベースモデルのトークナイザーをそのまま流用する。汎用モデルの語彙は、プログラミングコードから契約書、中国語まで幅広い領域をカバーするよう作られているためだ。

しかしDharma-AIによると、単一のタスクや領域に特化したモデルにおいて汎用トークナイザーを使い続けることは、2種類の無駄を生むという。

1つ目は「断片化（Fragmentation）」である。そのドメインで頻出する決まり文句が、細かなトークンへと過剰に分割されてしまう現象だ。例えばJSON形式のデータ構造や評価項目名、判定フレーズ、契約書の定型条文、コードの識別子などが該当する。本来は1つのトークンで扱える表現が複数に分割され、リクエストごとに余分なトークン消費が発生する。

2つ目は「過剰（Excess）」だ。対象領域では使われない膨大な語彙エントリを抱え続ける問題を指す。言語モデルはトークンを1つ生成するたびに、語彙リスト全エントリの確率を計算する。そのため、例えば米国の生物試験を採点するモデルであっても、出力のたびに中国語トークンの確率を計算し続けるような状態が生じてしまう。汎用語彙は、頻出表現を細かく分割する一方で、使わない表現を大量に保持するという非効率を抱えている。

本番運用の作文採点システムにおける課題

Dharma-AIでは、この課題が本番環境で顕在化していた。同社が運用するポルトガル語の作文自動採点システムは、40億パラメータのオープンモデル「Qwen3-4B」をベースに構築されている。生徒の作文、出題プロンプト、参考テキストを受け取り、評価基準ごとの評点とコメントを含むJSONを出力する仕組みだ。

モデルは40億パラメータと軽量で、採点タスク向けの学習も施されていた。だが、トークナイザーは多言語向けに作られたQwen3-4Bのものをそのまま使っていた。ポルトガル語かつ決まったJSONフォーマットしか出力しないにもかかわらず、毎回生成する定型文が無駄に多くのトークンを消費していた。さらに、毎回のトークン生成時に、滅多に使われない語彙を含む15万1,669個ものエントリに対して計算を行っていたという。

頻度ではなくコストを基準に語彙を再構築する「VocabX」

そこで同社は、「VocabX」によって語彙を根本から再構築した。語彙の見直しでは出現頻度を基準にしがちだが、同手法では頻度ではなく「各トークンのコスト」に着目して語彙を特化させた。

ベースとなるQwen3-4Bモデル本体や学習データ、学習レシピは一切変更せず、語彙の再設計のみを実施した。その結果、15万1,669個あった語彙エントリは6万4,767個まで絞り込まれた。

同時に、頻出表現の効率化も達成された。ベースのトークナイザーで14トークンを要していた文章がVocabXでは4トークンへと圧縮された。さらに、採点システムが毎回の応答で必ず書き出す定型フレーズでは、従来12トークンを要していたものがわずか1トークンで表現できるようになったという。

計測推論コストを77％削減、近く論文公開へ

この語彙特化により、ポルトガル語作文採点システムの実測推論コストは77％削減された。モデル自体の変更やパラメータの削減を伴わず、トークナイザーの最適化のみで大幅なコスト削減が達成された形だ。

Dharma-AIは、トークナイザーはベースモデルの固定的な要素としてそのまま使われがちだが、特化モデルにおいては学習前に調整できる最大のコスト削減レバーの1つになり得ると指摘している。

なお、公表されたデータは現在査読中の論文に基づく数値であり、正式公開までに変更される可能性があるとしている。