CPU上での長文処理を高速化、Liquid AIが軽量かつ高性能なエンコーダーモデル「LFM2.5-Encoders」を発表

要点

• Liquid AIが新たなエンコーダーモデルとして「LFM2.5-Encoder-230M」と「LFM2.5-Encoder-350M」の2種を公開しました。

• コンテキスト長は最大8,192トークンに対応し、入力テキストが長くなっても処理速度の低下が緩やかです。

• CPU上での推論速度において、長文処理時に「ModernBERT-base」の約3.7倍の高速化を達成しています。

• 主要な言語評価ベンチマークにおいて、自身よりも大きなサイズのモデルと同等以上の性能を示しています。

• 米Liquid AIは2026年7月28日、自然言語処理の多様なタスクに対応する新しいエンコーダーモデル「LFM2.5-Encoder-230M」および「LFM2.5-Encoder-350M」をHugging Face上でリリースしました。これらのモデルは小規模ながら、より大きなモデルに匹敵する精度を維持し、CPUなどの一般的な既存のハードウェア環境でも高速な動作が可能です。同社は、文書規模のタスクを既存のハードウェア環境で低コストかつ効率的に処理できる手法として本モデルを提案しています。

汎用エンコーダー開発の背景

エンコーダーモデル（テキストの意味を抽出・分類することに適したAIモデル）は、テキスト分類や安全フィルターなど、CPU環境で常時稼働するシステムによく用いられます。Liquid AIは先月、多言語検索用の「LFM2.5-Retrievers」を公開していますが、今回は分類や検索など幅広いタスクに微調整して活用できる汎用モデルとして「LFM2.5-Encoders」を新たに開発しました。

この領域では「BERT」が基礎を築き、最近では速度やコンテキスト長（一度に処理できるテキストの長さ）を向上させた「ModernBERT」などが登場しています。今回の新モデルは、同社の「LFM2」アーキテクチャを引き継ぐことで、入力テキストの長さが増大した際にも、処理にかかる計算コストや遅延時間（レイテンシ）の増加が緩やかに抑えられる特性を備えています。

モデルの構造とトレーニング手順

両モデルは、テキストの生成に特化した既存のデコーダーモデル「LFM2.5-230M」および「LFM2.5-350M」をベースに、以下の変更を加えて双方向エンコーダーとして再構築されました。

1. 双方向アテンションマスク: 文脈の前後両方向のトークンを参照可能にする仕組み。
2. 非因果的ショート畳み込み: 前後のトークン情報を混合する対称的なパディング処理。
3. マスク言語モデリング: 訓練中に対象テキストの30%のトークンを非表示にし、予測させる学習手法。

トレーニングは2段階で実施されました。まず大規模なWebコーパスを使い、1,024トークンのコンテキスト長で基礎的な言語能力を学習させました。その後、コンテキスト長を8,192トークンに拡張して訓練を行い、事実性、法律、および多言語の処理能力を強化したと説明しています。

ベンチマーク評価とCPU推論速度

性能評価では、GLUEやSuperGLUE、多言語分類などの17タスクで微調整を行い、他モデルと比較しました。評価値の安定性のために5つのシード値に基づく平均スコアを算出しており、評価用のフレームワークと生データはGitHub上でオープンソースとして公開されています。

ベンチマーク結果では、「LFM2.5-Encoder-350M」は比較した14モデル中4位にランクインしました。上位3モデルはすべて本モデルより大きく、約10倍のサイズである3.5Bモデルも含まれます。また「LFM2.5-Encoder-230M」は「ModernBERT-base」や「EuroBERT」の全モデルを上回るスコアを記録し、小規模ながら強力な性能を示しました。

さらに推論効率も高く、CPUを用いた測定では、長文処理時に「ModernBERT-base」の約3.7倍の推論速度を記録しました。これにより、個人識別情報の検出器やポリシーの適合性を確認するリンターなど、常時稼働が求められるシステムを既存のCPU環境で経済的に運用することが可能になるとしています。