2.4兆パラメータの「Qwen3.8-2.4T-A95B」をSageMaker HyperPodで運用、AWSがvLLMを用いたデプロイ手順を公開

要点

• AlibabaのQwenチームが公開した「Qwen3.8-2.4T-A95B」は、同社の最上位モデル「Qwen-Max」クラスとして初めてオープンウェイトで提供された。

• 総パラメータ数は2.4兆規模に達する一方、トークンごとに動作するパラメータを約950億に抑える細粒度なMoE設計を採用している。

• 線形アテンションと完全アテンションを組み合わせたハイブリッド構造により、最大101万トークンのコンテキスト処理に対応する。

• AWSはAmazon SageMaker HyperPodと推論エンジン「vLLM」を用い、NVIDIA B300 GPU環境で同モデルを効率的にホスティングする構成を解説した。

• 米Amazon Web Services（AWS）は2026年9月9日、Alibabaの超大規模言語モデル「Qwen3.8-2.4T-A95B」をAmazon SageMaker HyperPod上にデプロイする手法を公式ブログで公開した。同モデルは2.4兆パラメータを備えるオープンウェイトモデルであり、推論エンジン「vLLM」と最新のNVIDIA B300 Blackwell Ultra GPUを組み合わせた運用構成が示されている。

最上位「Qwen-Max」クラス初のオープンウェイト公開

AlibabaのQwenチームは2026年8月12日に「Qwen3.8-2.4T-A95B」をリリースした。同モデルは、同社のフラグシップモデルである「Qwen3.8-Max」のオープンウェイト版（モデルの重みデータが一般公開され、自社環境へ自由に配備可能な形態）であり、Qwenファミリーの中で最大かつ最も高い性能を持つという。

自社インフラでオープンウェイトモデルを運用する場合、データを自社環境内に保持できるほか、推論動作のカスタマイズが可能になり、大規模運用時におけるトークン単位のAPI利用料が発生しない利点がある。その一方で、2.4兆パラメータ規模のモデルを運用するには、専用のGPUインフラストラクチャと最適化された推論スタックが必要になると説明されている。

計算効率を高めるハイブリッドアテンションと細粒度MoE

Qwen3.8-2.4T-A95Bは、総パラメータ数2.4兆に対してトークンごとに活性化するパラメータ数を約950億に抑える設計となっている。

モデルの骨格には「ファイングレインMoE（Mixture of Experts: 入力データに応じて適切な専門ネットワークを細かく選択する仕組み）」が採用された。ルーティング対象となる512個の小規模エキスパートと1個の共有エキスパートで構成され、トークンごとに10個のルーティングエキスパートが活性化する。これにより、少数の大規模エキスパートを用いる構造に比べてルーティング効率と専門化が向上し、推論コストはモデル全体の2.4兆ではなくアクティブな約950億パラメータ分に抑えられるという。

層構造は全92層で構成され、2種類のアテンション機構を組み合わせたハイブリッド設計が取られている。

• Gated DeltaNet層（92層中69層）: 状態サイズが有界な線形アテンション（計算量が入力長に比例して増える効率的なアテンション機構）を採用し、コンテキスト長に伴って増大するKVキャッシュを固定サイズのメモリに置き換える。
• Gated Attention層（92層中23層）: トークン間の詳細な相互作用を処理するため、完全な2次アテンション（計算量が入力長の2乗で増える標準的なアテンション機構）を適用する。

この「Gated DeltaNet → MoE」が3層続いた後に「Gated Attention → MoE」が1層入る「3対1」のレイアウトを繰り返すことで、コンテキストが拡大しても計算量とメモリ消費を有界に保てるとしている。コンテキストウィンドウはネイティブで26万2144トークン、拡張時には最大101万トークンに対応し、最大出力長は12万8000トークンに達する。また、投機的デコーディング（小型のドラフトヘッドで複数トークンを先行予測して生成を高速化する手法）を単一モデル内で実現する「ネイティブMulti-Token Prediction（MTP）」ドラフトヘッドも標準で備えている。

エージェント用途に向けた推論制御

Qwen3.8は、複数ステップのコーディングや長期的な計画立案、自律的なツール利用、複雑なリサーチなど、エージェント型のタスクを主眼に置いて設計されている。

モデル内部には推論の深さを制御する仕組みが組み込まれており、reasoning_effort パラメータを low、medium、high の3段階で指定できる。これにより、開発者は難易度の高い多段階の課題では計算リソースを増やして深い推論を行わせ、高いスループットが求められる処理では計算量を抑えるといった調整が可能になるという。

SageMaker HyperPodとvLLMによる検証構成

AWSが公開した技術解説では、分散環境のインフラ管理機能を提供する「Amazon SageMaker HyperPod」と、LLMの高速推論エンジン「vLLM」を組み合わせた環境が紹介されている。

ハードウェアには、NVIDIA B300 Blackwell Ultra GPUを8基搭載した ml.p6-b300 インスタンスを使用。クラスタのプロビジョニングからOpenAI互換エンドポイントの立ち上げに至るまでの全手順が解説されている。設定内容には、NVFP4（4ビット浮動小数点フォーマット）による量子化の適用、組み込み推論機能の制御、ツール呼び出し、ネイティブMTPを用いた投機的デコーディングの設定が含まれる。

なお、今回の公開は、SageMaker HyperPod上で兆パラメータ規模のオープンモデルをデプロイする解説シリーズの第2弾であり、第1弾では「Kimi K3」を取り上げた記事が公開されていた。