Alibabaが176Bモデル「Qwen3.8-Flash-Next」公開、NVIDIA最新基盤で毎秒1.6万トークン超を実証

要点

• Alibabaが次期「Qwen4」の先行版となる176BマルチモーダルMoEモデル「Qwen3.8-Flash-Next」の重みを公開した。

• GDNとQSAを組み合わせた新構成により、最大100万トークンの長文推論におけるKVキャッシュ増大と計算負荷を抑制している。

• 100万トークン環境のベンチマークで、フルアテンション比最大7.6倍のプリフィル高速化を達成した。

• NVIDIAは「GB300 NVL72」上で1GPUあたり毎秒1万6000トークン超の推論性能を確認したと公表した。

• 米NVIDIAは2026年8月26日、中国Alibabaが公開した最新AIモデル「Qwen3.8-Flash-Next」のアーキテクチャ詳細と同社ハードウェア上での推論検証結果を公式技術ブログで公表した。次世代モデル「Qwen4」のプレビュー版であり、NVIDIAのラック規模システム「GB300 NVL72」上でGPU1基あたり毎秒1万6000トークンを超える処理性能を示したという。

176B規模で1トークンあたり6Bが動作するMoE設計

Qwen3.8-Flash-Nextは、総パラメータ数176B（1760億）のマルチモーダルMoE（Mixture of Experts：処理に応じて専門ネットワークを切り替える手法）モデルだ。51BのN-gram埋め込みパラメータを含み、推論時は1トークンあたり6B（60億）パラメータのみがアクティブになる。

コンテキストウィンドウ（文脈長）は標準で26万2144トークンで、位置拡張技術YaRN（Yet another RoPE extensioN）により最大100万トークンに対応する。エージェント型コーディングや大量文書処理など、長大な文脈を扱う用途を想定して開発された。

GDNとQSAのハイブリッド構造で長文推論を高速化

文脈が長くなると計算量の増大に加え、過去の計算データを保持するKVキャッシュ（推論高速化のためのメモリ領域）の肥大化がボトルネックとなる。Qwen3.8-Flash-Nextはこの問題を解決するため、Gated DeltaNet（GDN）とQwen Sparse Attention（QSA）を組み合わせたハイブリッド設計を採用した。

本モデルは4層中3層でGDNを使用し、過去の文脈を固定サイズの再帰状態へ圧縮してKVキャッシュの増加を防ぐ。残る1層に配置されたQSAが文脈全体の精密な検索を担う。

従来の疎結合アテンションはトークン単位でインデックスを作成するため長文脈で負荷が増大していたが、QSAはシーケンスを「マイクロブロック」に集約してブロック単位で重要度を推定する。これにより関連領域のみを効率的に選択でき、計算負荷とインデックス生成のオーバーヘッドを大幅に削減しているという。

100万トークン環境で最大8.6倍のスループットを記録

Alibabaのベンチマークによると、QSAの採用で100万トークン処理の効率が大幅に向上したとされる。全トークンを計算するフルアテンション比で、QSAカーネルはプリフィル（入力処理段階）で最大7.6倍、デコーディング（トークン逐次生成段階）で最大4.9倍の高速化を達成した。

さらに、過去の文脈を再利用するキャッシュヒット率が90%に達する100万トークン長のオンライン環境では、前世代モデル「Qwen3.7-Plus」と比べて8.6倍のプリフィルスループットを記録したと報告されている。

NVIDIA GB300 NVL72での実証とローカル環境への対応

NVIDIAは、72基のBlackwell Ultra GPUを統合したラック規模システム「NVIDIA GB300 NVL72」での検証結果を公開した。毎秒130テラバイト（TB/s）の高速なNVLink接続により、MoE特有のGPU間通信ボトルネックを排除している。

FP8精度でのテストにおいて、GB300 NVL72はGPU1基あたり毎秒1万6000トークン以上、ユーザーあたり毎秒200トークン以上のスループットを達成した。エージェント型コーディングなどの高負荷処理を低遅延・高スループットで実行できるとしている。

また、本モデルはNVIDIA DGX StationやDGX Sparkクラスター、4基の「NVIDIA RTX PRO 6000 Blackwell Workstation Edition」を搭載したワークステーションなどローカル機でも動作する。手元の環境でプロトタイプを検証し、そのままGB300 NVL72の本番環境へスケールさせることが可能だと説明している。

推論エンジンでの初日対応と事後学習レシピの提供

ソフトウェア面では、公開初日から「SGLang」「vLLM」「NVIDIA TensorRT-LLM」による推論サポートが提供される。加えて、モデルの追加調整向けに「NVIDIA NeMo AutoModel」および「NVIDIA NeMo RL」を通じた事後学習（Post-training）レシピも用意されているという。