Liquid AI、視覚言語モデル向け高速化ドラフト「LFM2.5-VL-DSpark」を公開 わずか8.9％のメモリ追加で最大3.13倍のデコード高速化を実現
要点
- 米Liquid AIは、30億パラメータの視覚言語モデル「LFM2.5-VL-3B」に向けた実験的な投機的デコーディングドラフトモデル「LFM2.5-VL-DSpark」を公開した。
- ドラフトモデルの追加パラメータ数は約2億8000万（ベースモデルの8.9％増）にとどまり、出力品質を損なうことなく推論速度を大幅に引き上げる。
- Apple Silicon環境で最大3.13倍、NVIDIA H100環境で最大2.66倍のデコード高速化を達成し、全体の処理遅延も最大2.62倍改善した。
- 公開初日より「llama.cpp」「MLX-VLM」「SGLang」の各推論フレームワークに対応し、ローカルからクラウドまで即時導入できる。
概要
米Liquid AIは2026年9月24日、同社の視覚言語モデル（VLM）「LFM2.5-VL-3B」向けに、実験的な投機的デコーディングドラフトモデル「LFM2.5-VL-DSpark」をリリースしたと発表した。
本モデルは、出力品質を維持したまま、メモリフットプリントの増加を最小限に抑えて推論処理を高速化する技術である。すでに提供されているテキストモデル向け「LFM2.5-DSpark」の設計をマルチモーダル領域に拡張したもので、デバイス上でのローカル実行からデータセンター向けGPUまで幅広い環境で処理性能を向上させるという。
8.9％のパラメータ追加で出力品質を維持
投機的デコーディング（Speculative Decoding）とは、計算負荷の小さい軽量モデルが先行して複数の単語候補を予測し、本体のターゲットモデルが一括して検証・採択することで生成を早める推論高速化技術である。
今回発表された「LFM2.5-VL-DSpark」は、30億（3B）パラメータを持つ本体モデル「LFM2.5-VL-3B」に対し、約2億7950万（約280M）パラメータの軽量ドラフトモデルを追加する構成をとる。メモリ使用量の増加率は本体に対して8.9％にとどまり、ハードウェア資源への負担を抑えながら高速な推論パスを付加できるとしている。
ドラフトモデルのパラメータ構成の内訳は以下のとおりである。
- デコーダースタック（4層）: 1億9300万
- 隠れ状態射影層: 2100万
- マルコフヘッド: 6550万
- 正規化層および信頼度ヘッド: 6400
- 合計: 2億7950万（279.5M）
モダリティに依存しない統一アーキテクチャ
「LFM2.5-VL-DSpark」は、同社のテキスト向けDSparkドラフターと同一のアーキテクチャを採用している。
ターゲットモデル内の固定された特定層から中間出力である隠れ状態（hidden states）を取得し、その情報を条件として候補となる連続トークンブロックを生成する仕組みだ。視覚言語モデルでは画像パッチとテキストトークンが入力されるが、これらは該当レイヤーの手前で共通の表現空間に射影される。
これにより、ドラフター側は入力が画像かテキストかに関わらず同一の次元数を持つ隠れ状態ベクトルとして処理できるため、推論アルゴリズム自体は従来のテキストモデルと共通のまま動作するとしている。
学習には、想定されるワークロードに合わせて重み付けされた視覚・言語のSFT（教師あり微調整）データセットが用いられた。3層から5層での比較検証に基づき、4層構成かつブロックサイズ9の注意機構のみで構成された（attention-only）ドラフターが採用されている。最終データセットで10エポックの訓練を実施し、エポックごとに入力候補の受理率を測定しながら調整された。推論時の設定としては、ハードウェア環境に応じてブロックサイズ8または9を指定することが推奨されている。
オンデバイスおよびGPU環境における測定結果
性能評価は、視覚ベンチマーク「MMSpec」に準拠した6種類のタスク（一般的な視覚応答、テキストを含む視覚応答、画像キャプション生成、図表の読み取り、複雑な推論、複数ターンの対話）を用いて実施された。いずれの環境でもブロックサイズ8が使用されている。
Apple Siliconを搭載したオンデバイス環境では、以下の高速化が確認された。
- M5 Max（MLX-VLM環境）: タスク別にデコード速度が2.30倍から3.13倍へ向上し、全体の処理遅延（エンドツーエンド）も1.56倍から2.62倍改善した。
- M3 Ultra（llama.cpp環境）: デコード速度が1.57倍から2.14倍へ向上し、エンドツーエンド遅延も1.30倍から1.77倍改善した。
また、データセンター向けGPUであるNVIDIA H100を用いたテストでも、デコード速度が20.4倍から2.66倍へ高速化し、エンドツーエンドの処理時間も1.64倍から2.27倍改善したことが報告されている。
対応フレームワークと視覚処理の特性
本ドラフトモデルは公開初日より、オープンソースの推論フレームワークである「llama.cpp」「MLX-VLM」「SGLang」に対応している。
なお、同社は視覚言語モデルにおける推論負荷の特性についても言及している。言語モデルではプロンプトの初期処理（プリフィル）の計算負荷が入力長に対して2次関数的に増大する傾向があるが、視覚言語モデルでは画像がビジョンエンコーダーを通過した後に言語バックボーンが数百個の画像トークンを処理するため、プリフィル時の計算負荷がさらに大きくなるという特徴がある。