Alibaba、次世代MoEモデル「Qwen3.8-Flash-Next」を公開　NVIDIA最新GPU環境で毎秒1.6万トークン超を達成

要点

• Alibabaは次期「Qwen4」アーキテクチャのプレビューとなるマルチモーダルMoEモデル「Qwen3.8-Flash-Next」のモデル重みを公開した。

• 総パラメータ数1250億のうち1トークンあたり60億を活性化する設計で、最大100万トークンの長文処理に対応する。

• 履歴を圧縮するGDNと高精度検索を行うQSAを組み合わせたハイブリッド構造により、計算量とメモリ負荷を低減した。

• 100万トークン処理時、完全なアテンション処理と比較して事前入力が最大7.6倍、生成処理が最大4.9倍高速化した。

• NVIDIAのGPU統合システム「GB300 NVL72」上で、GPU1基あたり毎秒1万6000トークン超のスループットを実証した。

• 米NVIDIAは2026年8月26日、公式技術ブログにおいて、中国Alibabaが公開した最新AIモデル「Qwen3.8-Flash-Next」のアーキテクチャ解説および自社ハードウェアでの動作検証結果を発表した。同モデルは次世代アーキテクチャ「Qwen4」の技術プレビューとして位置づけられており、開発者向けにモデル重みが公開されている。AIが自律的にプログラムを作成・編集するエージェントコーディングや長文ドキュメント処理などを想定し、膨大なコンテキストを高速かつ低負荷で処理できる設計が特徴だという。

1250億パラメータのMoE構成と最大100万トークンの長文対応

Qwen3.8-Flash-Nextは、複数の専門ネットワークを切り替えて処理するマルチモーダルMoE（Mixture-of-Experts）モデルだ。1250億（125B）パラメータの本体に510億（51B）のN-gram埋め込みを追加した構成を持ち、1トークン処理あたり60億（6B）パラメータのみを活性化させることで計算効率を高めている。

モデルが一度に扱えるコンテキストウィンドウ（文脈の長さ）は標準状態で26万2144トークンを備える。さらに位置エンコーディング拡張技術「YaRN」を適用することで、最大100万（1M）トークンまで拡張可能とされている。

メモリと計算負荷を抑える「GDN」と「QSA」のハイブリッド構造

長大なコンテキストを扱うAI処理では、アテンション計算量の増大と、過去の計算結果を保持するKVキャッシュ用メモリの圧迫が大きな課題となる。本モデルはこの両方を解決するため、「Gated DeltaNet（GDN）」と「Qwen Sparse Attention（QSA）」を組み合わせたハイブリッド構成を導入した。

モデル全体の4層のうち3層にはGDNを採用している。GDNは過去の文脈情報を固定サイズの再帰状態へと順次圧縮するため、入力シーケンスがどれほど長くなってもKVキャッシュメモリが増加しない。そして残る4層中1層にQSAを配置し、文脈全体からの正確な情報検索を担わせている。

従来のスパースアテンション（不要な計算を省いて部分的に注目する仕組み）はトークン単位でインデックスを作成するため長文になるほど計算コストが増加していたが、QSAはシーケンスを「マイクロブロック」単位にまとめ、ブロックごとに重要度を判定して必要な領域のみを選択する。これにより、層内のアテンション計算やインデックス作成に伴うオーバーヘッドを大幅に低減していると説明されている。

100万トークン処理で事前入力が最大7.6倍、生成が最大4.9倍に高速化

Alibabaが公開したベンチマークデータによると、QSAの導入によって100万トークン規模のワークロードにおける処理効率が大幅に向上した。

すべてのトークン間を計算する完全なアテンション処理（Full Attention）と比較し、QSAのアテンションカーネルは事前入力処理（Prefill：入力文をまとめて読み込む処理）で最大7.6倍、トークン生成処理（Decoding：単語を順次出力する処理）で最大4.9倍の高速化を達成した。さらに、過去のプロンプトを再利用するプレフィックスキャッシュのヒット率が90%に達するオンライン提供テスト（100万トークン時）では、前世代モデル「Qwen3.7-Plus」と比較して8.6倍の事前入力スループットを記録したと報告されている。

NVIDIA GB300 NVL72での検証とオープンソース環境での提供

NVIDIAは、72基のBlackwell Ultra GPUを単一ラックに統合したシステム「NVIDIA GB300 NVL72」を用いた検証結果を公表した。同システムは130TB/sのNVLinkによるGPU間の全対全通信を備えており、MoEモデルのエキスパート間通信において従来の一般的なネットワークで生じていたボトルネックを解消する。

FP8精度を用いたテストでは、GPU1基あたり毎秒1万6000トークン以上、ユーザー1人あたり毎秒200トークン以上の処理性能を達成し、高いスループットと極めて低い遅延が両立できることを実証した。

ソフトウェア面では、SGLang、vLLM、NVIDIA TensorRT-LLMによる初日からの機能サポートが提供される。モデルの追加学習向けにはファインチューニング用「NVIDIA NeMo AutoModel」や強化学習用「NVIDIA NeMo RL」のレシピが用意されたほか、TokenSpeedなどの推論エンジン向けにもオープンソースのレシピが公開されている。モデル重みはHugging Faceからダウンロード可能で、クラウド上で即座に試行できる「QwenCloud」も提供されている。