H company、単一Transformerで画像とテキストを直接処理するマルチモーダルエンコーダー「NeoMME」を公開
要点
- 仏H companyは2026年9月3日、画像とテキストを単一の双方向Transformerで直接処理する多言語マルチモーダルエンコーダー「NeoMME」を発表した。
- 独立したビジョンタワーや自己回帰型テキストデコーダーを持たず、マスク型離散拡散を用いてゼロから学習した2億6000万（260M）および8億（800M）パラメータの2モデルを提供する。
- 最大1万6384トークンのコンテキスト長を備え、4K解像度画像2枚分の処理やアスペクト比を維持する動的解像度入力、2D RoPEなどの最新エンコーダー技術を採用している。
- ドキュメント検索向けモデル「NeoMME-Retriever」は、NVIDIA L40S環境で毎秒約51ページのエンコード速度を記録し、インデックス容量を約255分の1に圧縮しながらベースライン精度の95%以上を維持する。
- すべてのモデルチェックポイントはApache 2.0ライセンスのもとで公開され、Hugging Face Transformersから利用できる。
フランスのAI研究企業H companyは2026年9月3日、多言語対応のマルチモーダルネイティブエンコーダー「NeoMME（発音: ニーオーミー）」を発表した。従来の視覚言語モデル（VLM）で一般的だった別個のビジョンエンコーダーやテキスト生成用のデコーダーを排除し、1つの双方向Transformerで画像とテキストを一体的に処理する設計を採用している。モデルは260M（2億6000万パラメータ）と800M（8億パラメータ）の2サイズが用意され、Apache 2.0ライセンスでオープンソース公開された。
生成デコーダーのオーバーヘッドを排除する単一エンコーダー設計
近年、画像を含む文書の検索（ビジュアルドキュメント検索）には、事前学習済みの生成型視覚言語モデル（VLM）を転用する手法が多く用いられてきた。この構造では、独立した事前学習済みビジョンエンコーダーが画像特徴を抽出し、プロジェクターを介して言語モデルの入力空間へ変換した上で、因果的（自己回帰的）デコーダーが統合表現を処理する。
しかし、情報の検索や分類、トークンラベリングといったタスクでは文章を1トークンずつ逐次生成する必要がないため、自己回帰デコーダーに伴うパラメータや計算のオーバーヘッドが無駄になっていた。双方向エンコーダーの分野ではModernBERTや、それをベースにSigLIP2ビジョンタワーを組み合わせたModernVBERTなどが登場していたが、NeoMMEはさらに進め、独立したビジョンタワーすら持たない構造をゼロから設計したという。
NeoMMEでは、テキストトークンと生の画像パッチが同一の双方向Transformerに入力される。事前学習にはマスク型離散拡散（masked discrete-diffusion）手法を採用し、スクラッチから学習が行われた。画像とテキストが全く同じ計算パスを通過するため、事前学習やファインチューニング、並列化、推論サービングの各工程をシンプルに統合できる利点があるとしている。
4K画像2枚分を処理する1万6384トークンの長文脈と最新アーキテクチャ
NeoMMEは260Mと800Mの2つのモデルサイズを展開しており、共通して以下の特徴的な仕様を備えている。
- ネイティブマルチモーダル入力: テキスト入力には因子化トークン埋め込みを使用し、画像は重なりのない32×32ピクセルのパッチグリッドに分割された後、小型のMLP（多層パーセプトロン）で射影されて同一のTransformerエンコーダーに送られる。
- 動的画像解像度: 入力画像のアスペクト比とサイズをそのまま保持する。情報密度が高い高解像度文書には多くのトークンを割り当て、小さな画像には少ないトークンを消費するといった柔軟な処理が可能となっている。
- 1万6384トークンの双方向コンテキスト長: 最大16,384トークンに対応し、これは標準的な3840×2160ピクセルの4K UHD画像最大2枚分に相当する。層の大部分には対称スライディングウィンドウアテンションを適用し、6層ごとおよび最終層にグローバルアテンションを配置して計算効率を高めている。
- 最新のエンコーダースタック: グループ化クエリアテンション（GQA）、クエリ-キー正規化（QK Normalization）、ゲート付きアテンション、2次元回転位置埋め込み（2D RoPE）、二乗ReLU MLPなど、近年のエンコーダーにおける改良技術を網羅的に導入している。
- 13.1万語彙の多言語トークナイザー: 多言語テキスト、ソースコード、数学データなどを用いてスクラッチ学習された131kトークン語彙のBPEトークナイザーを搭載する。
ドキュメント検索モデル「NeoMME-Retriever」の処理速度とインデックス圧縮
H companyは、視覚ドキュメント検索向けにColPaliのページ画像アプローチを取り入れてファインチューニングしたモデル「NeoMME-Retriever」もあわせて発表した。
NeoMME-Retrieverは、1回の順伝播処理で高密度（Dense）埋め込みと遅延相互作用（Late-interaction）埋め込みの両方を出力できる。視覚ドキュメント検索ベンチマーク「ViDoRe v3」において、nDCG@10精度とモデルサイズのトレードオフを示すパレートフロンティア上に位置する性能を達成した。
スループット面では、NVIDIA L40S GPU上で2048×2048ピクセルの画像を入力した場合、260Mモデルは約51ページ毎秒のエンコード速度を達成し、先行するColModernVBERTと比較して約2倍のスループットを記録したという。
さらに、階層的トークンプーリングと非対称量子化技術を組み合わせることで、遅延相互作用インデックスの保存容量を大幅に削減することに成功した。1ページあたりのストレージサイズをベースラインの約1.5MBから約6kBへと約255分の1に圧縮しつつ、検索精度（nDCG@10）はベースラインの95%以上を維持していると説明している。
提供形態
NeoMMEの全モデルチェックポイントはHugging Face上で公開されており、Hugging Face Transformersライブラリから利用可能となっている。テクニカルレポートやVisual RAG（検索拡張生成）のデモ環境も公開されている。