Cohere、LLM推論を効率化する「ハードウェア認識型動的投機的デコーディング」を解説

要点

• 投機的デコーディング（SD）は、軽量なドラフトモデルを用いて大規模言語モデル（LLM）の推論を品質低下なく高速化する技術。

• 従来のSDはドラフトトークン数が固定されており、実運用時のバッチサイズ変動や強化学習の特定フェーズで処理速度が低下する課題があった。

• Cohereが解説した「ハードウェア認識型動的投機的デコーディング（DSD）」は、ハードウェアの負荷に応じてドラフトトークン数を動的に制御する。

• 密モデルとMoEモデルでは、バッチサイズの増大に対する最適なドラフトトークン数の変化挙動が異なる。

• AIスタートアップのCohereは2026年7月10日、大規模言語モデル（LLM）の推論を品質低下なしに高速化する新たな手法「ハードウェア認識型動的投機的デコーディング（DSD）」に関する技術ブログを公開した。従来の投機的デコーディングが抱えていた、実際の運用環境におけるバッチサイズの変動や、強化学習時の処理効率低下という課題に対し、ハードウェアの制約に基づいてドラフトトークン数を動的に調整することで対応する。

投機的デコーディングの仕組みとGPUの特性

LLMの推論処理は通常、1回に1トークン（文字や単語の構成単位）ずつテキストを生成する。投機的デコーディング（SD）は、軽量な「ドラフトモデル」が先に複数のトークン候補を提案し、それを大規模な「ターゲットモデル」が1ステップで検証することで生成を高速化する技術だ。

この高速化は、GPUの「演算能力」と「メモリ帯域幅（データを転送する速度）」のトレードオフを利用している。バッチサイズ（一度に処理するリクエスト数）が小さい場合、推論処理はメモリ帯域幅に依存する状態（メモリ帯域幅制限）となる。この状態では、メモリから演算ユニットへモデルの重みデータをロードする時間が支配的になり、演算ユニットはほぼアイドル状態になる。SDはこの空き時間を活用し、本来無駄になるはずの演算能力を使ってターゲットモデルに多くのトークンを検証させることで高速化を実現する。しかし、バッチサイズが大きくなると計算自体が処理を支配する「演算制限」となり、SDに割く余剰の演算能力は失われる。

実運用と強化学習における従来の課題

従来の固定されたSDは、実運用のプロダクション環境や強化学習（RL）の現場で大きな課題に直面していた。

プロダクション環境では、バッチサイズが大きく、かつ動的に変動する。バッチサイズが大きい演算制限の領域では、SDを適用するとかえって通常の推論よりも処理が遅くなることがある。

また、強化学習ではデータ生成を行う「ロールアウト」フェーズが全体の計算資源の最大85％を消費するボトルネックになっている。特に推論モデルを用いたRLでは、一部のリクエストが極端に長く生成し続けることでバッチ全体の処理を遅延させ、リソースを浪費する。このようなロングテール生成にはSDが有効だが、高バッチサイズ時に全体のスループット（時間あたりの処理量）を低下させるため、システム全体への導入は難しかった。

動的制御（DSD）によるアプローチ

そこで提案されたのが、ドラフトトークン数（K）を固定せず、モデルとハードウェアの状況に応じて適応させる「ハードウェア認識型DSD」である。DSDは、推論がメモリ帯域幅制限のときはKを増やし、演算制限のときはKを減らす。

この最適なKの調整パターンは、モデルのアーキテクチャによって異なる。
「密（Dense）モデル」では、バッチサイズが小さいときは最適なKが高く、バッチサイズが大きくなるにつれてKは単調に減少していく。

一方、必要な領域だけを稼働させる「MoE（Mixture-of-Experts：混合専門家）モデル」では、最適なKの挙動は非単調となる。バッチサイズが極端に小さいときは、検証時に追加のエキスパート（専門家ネットワーク）をロードする必要があるため、最適なKは低い状態から始まる。バッチサイズが中程度になると、すでに多くのエキスパートがロードされているため追加の負荷がほぼ発生せず、最適なKは増加する。そして、バッチサイズがさらに大きくなると、演算制限に達するため最適なKは再び減少する。

このように、ハードウェアの制約やモデルの構造に合わせて最適なKを動的に制御することが、実運用のLLMシステムや大規模な強化学習ロールアウトにおいて重要であると説明されている。