アリババの2.4兆パラメータモデル「Qwen3.8」をNVIDIA GB300 NVL72で高速運用、ハイブリッド構造と推論制御で長大コンテキストに対応
要点
- アリババがオープンウェイトモデル「Qwen3.8-2.4T-A95B（Qwen3.8-Max）」を公開した。
- 総パラメータ数2.4兆（2.4T）のうち、トークンごとに950億（95B）を活性化するきめ細かなMixture of Experts（MoE）と、フルアテンションおよびリニアアテンションを組み合わせたハイブリッド構造を採用している。
- 最大100万トークンのコンテキスト長と最大12万8,000トークンの出力に対応し、推論の深さを3段階（low/high/xhigh）で調整できる制御機能を備える。
- NVIDIAのラック規模システム「GB300 NVL72」上において、FP8精度でGPUあたり毎秒4,000トークン超、ユーザーあたり毎秒350トークン超の推論スループットを達成した。
アリババは、オープンウェイトモデルとしては最大規模となる「Qwen3.8-2.4T-A95B（別名：Qwen3.8-Max）」を公開しました。これを受け、NVIDIAは2026年8月12日付の技術ブログにおいて、同モデルをラック規模のアクセラレーテッドコンピューティング基盤「NVIDIA GB300 NVL72」で効率的に運用するためのアーキテクチャ詳細および推論性能を明らかにしました。NVIDIAはオープンソースエコシステムと連携し、最適化されたカーネルやランタイム、分散サービング手法を提供していくとしています。
長大コンテキストの計算・メモリ制約を緩和するハイブリッド構造
Qwen3.8-2.4T-A95Bは、高度なコーディングや大規模な文書解析、複数ステップにわたる長時間のワークフローなど、負荷の高いエージェント型ワークロードを想定して設計されています。1問1答形式を中心とする従来の対話型モデルとは異なり、エージェント用途ではシステム指示、外部ツールの出力、検索されたドキュメント、コード、ログ、推論の思考プロセスが蓄積され続けるため、コンテキストの肥大化に伴ってアテンション計算量とKey-Value（KV）キャッシュメモリの消費が大きな課題となります。
この制約に対処するため、同モデルでは「フルアテンション」と「リニアアテンション」を交互に配置するハイブリッドアーキテクチャが導入されました。すべてのトークンが相互に参照し合うフルアテンション層と、増大するKVキャッシュを一定サイズの再帰状態に置き換えるリニアアテンション層を組み合わせることで、最大100万トークンまでコンテキストが拡張しても計算量とメモリ消費を一定の範囲内に抑制できる仕組みです。また、最大12万8,000トークンの出力長にも対応しています。
さらに、2.4兆パラメータという極めて巨大な規模を実用的に運用するため、きめ細かなMoE（Fine-grained Mixture of Experts）技術が採用されています。少数の巨大なエキスパートに処理を任せるのではなく、多数の小さなエキスパートに計算能力を分散配置し、学習済みのルーターが必要なエキスパートのみをトークン単位で選択的に呼び出します。これにより、トークンごとにアクティブとなるパラメータ数は950億に抑えられ、同等規模の高密度（Dense）モデルと比べて大幅に低いコストでの推論が可能になると説明されています。
タスクに応じて計算量を調整する推論制御機能
同モデルには、リクエストごとに推論の深さを設定できる機能（low／high／xhigh）があらかじめ組み込まれています。これにより、開発者はタスクの性質に応じて計算量と推論品質のバランスを柔軟に制御できます。
たとえば、複雑な多段階推論を要する処理では設定を引き上げて推論品質を優先し、一方でスループットが求められる大量のドキュメント処理などでは設定を抑えて高速処理を行うといった使い分けが可能になるとされています。
NVIDIA GB300 NVL72による推論性能と通信最適化
2.4兆パラメータ規模のオープンモデルを本番環境で運用するには、データセンター規模の高度な協調設計が求められます。検証に用いられた「NVIDIA GB300 NVL72」は、72基のNVIDIA Blackwell Ultra GPUを単一のラックに統合したプラットフォームです。
72基のGPU全体が広帯域のNVLinkドメインによって接続されており、総帯域幅130TB/sのAll-to-All通信を実現しています。これにより、MoEのルーティングにおいてエキスパート間でトラフィックが行き交う際に、従来の一般的なネットワークで生じがちだった通信ボトルネックを排除できるとしています。
追加のモデルチューニングを行わない初期状態（Day 0）かつFP8精度の測定において、Qwen3.8-2.4T-A95BはGPUあたり毎秒4,000トークン超のピークスループットを記録し、ユーザーあたりでも毎秒350トークンを超える処理速度を達成しました。NVIDIAは、今後はNVFP4精度への対応を含むさらなる最適化によって、継続的な性能向上が期待できるとしています。
多様なオープン推論スタックへの対応
開発者が用途に合わせて柔軟にデプロイできるよう、複数の推論フレームワークへの対応も進められています。NVIDIAプラットフォーム上での性能制御を重視する開発者向けには、SGLang、vLLM、NVIDIA Dynamoによるオープンソースの推論レシピが用意されているとのことです。