NVIDIA、DenseモデルとMoEモデルの構造と性能差を解説　Nemotron 3.5 Lightningを例にスループットや選択基準を提示

要点

• 米NVIDIAは公式技術ブログにて、AIモデルにおけるDense（高密度）構成とMoE（Mixture-of-Experts）構成の動作原理や性能差に関する技術解説を公開した。

• 総パラメータ30BのMoEモデル「Nemotron 3.5 Lightning」は、トークンごとに3Bのパラメータのみを稼働させ、同等規模のDenseモデルを上回るスループットを実現するという。

• MoEはVRAM上に全エキスパートを配置しながら計算コストを分離できる一方、高並行処理下でのレイテンシ優位性の縮小や、ファインチューニング・量子化時の特有の挙動が存在する。

• アーキテクチャの選定基準として、パラメータ数だけでなくメモリ予算、並行性要件、ファインチューニング計画、量子化の挙動を考慮することが重要だと示されている。

• 米NVIDIAは2026年9月15日、公式技術ブログにおいて、大規模言語モデルの主流なアーキテクチャであるDenseモデルとMoEモデルの違いや選択基準に関する技術解説を公開した。同社のSophia Abbassi氏が執筆したこの記事では、総パラメータ数30Bでありながら1トークンあたり3Bのみを計算に使用する「Nemotron 3.5 Lightning」などの具体例を挙げながら、両アーキテクチャの構造や性能への影響を客観的に説明している。モデルが保有するパラメータの総数だけでなく、その配置と処理構造がスループットやメモリ要件に大きく影響することが報告されている。

DenseモデルとMoEモデルの構造的相違

ブログ記事では、DenseモデルとMoEモデルの最大の違いはパラメータの利用方法にあると説明されている。Dense（高密度）モデルは入力データ（トークン）ごとに全パラメータを稼働させる構造であり、たとえば27B（270億）パラメータのDenseモデルでは、デコーダー層ごとに単一の共有フィードフォワードネットワーク（FFN：一方向に情報を処理する基本層）を介してすべてのパラメータが毎回計算に関与する。

これに対してMoE（Mixture-of-Experts：複数の専門ネットワークから一部を選択して動かす手法）モデルは、単一の共有FFNを複数のFFNブロック（エキスパート）に置き換えた構造を持つ。デコーダー層内には8個、64個、128個などの複数のエキスパートが配置され、その前段にあるゲートネットワーク（ルーター）が入力トークンをスコアリングし、上位k個の最適なエキスパートに割り当てる。選ばれなかったエキスパートはその層での計算がスキップされるため、全体のパラメータ規模を大きく保ちながら計算負荷を抑えられる仕組みだという。なお、近年のMoEモデルである「Mistral Small 4」などのように、すべてのトークンが必ず通過する「共有エキスパート（shared expert）」を1基併用するアーキテクチャも登場していると紹介されている。

層ごとのルーティングとアクティブパラメータの仕組み

MoEモデルのルーティング処理はデコーダー層ごとに独立して行われる。トークンが特定の固定エキスパートに割り当てられ続けるのではなく、各層においてその時点のトークン表現に基づいて再ルーティングされる設計となっている。また、各層のエキスパートは特定トピックの知識に特化しているというよりも、句読点や数値といった構文やトークン種別のパターンに特化して処理を分担する傾向があるという。

ルーターによって計算がスキップされるのはFFNブロックの部分であり、アテンション機構（入力内の関連性を計算する仕組み）には全トークンが通常どおり通過する。そのため、モデル仕様として「3B active parameters（アクティブパラメータ数30億）」と表記されている場合、これにはアテンション機構と選択されたエキスパートのパラメータが含まれていると解説されている。

スループットとメモリコストの特性

両アーキテクチャの性能特性について、MoEモデルはすべてのエキスパートをあらかじめVRAM（ビデオメモリ）上に読み込む必要があるため、メモリコストと計算コストが切り離されている点が挙げられている。Denseモデルではメモリ消費と計算量が比例して増大するが、MoEモデルではVRAM容量さえ確保できれば、トークンごとの計算量はアクティブパラメータの分だけに抑えられる。

この仕組みにより、総パラメータ数が同等規模である場合、MoE構成の「Nemotron 3.5 Lightning」（30B）はDense構成の「Gemma 4 31B」と比較して高いトークンスループットを達成できるという。ただし、多数のリクエストを同時に処理する高並行処理（concurrency）の環境下では、レイテンシにおけるMoEの優位性が縮小する傾向があることも明かされている。

運用時の注意点と選択基準

デプロイや運用の観点において、Denseモデルは構造がシンプルなため予測可能性の高いデプロイに適している一方、MoEモデルはメモリ容量や運用の複雑さが許容できる環境で高い処理能力を発揮するとされる。

ただし、MoEモデルの運用には特有の配慮が必要であると指摘されている。ファインチューニング（特定用途向けの追加学習）を行う際には特定のエキスパートに処理が偏る「ルーターの不均衡（router imbalance）」を防ぐケアが求められる。また、量子化（モデルの数値を低ビット化して軽量化する手法）を適用する場合も、ルーターや回帰射影層（recurrent-projection layers）に対してDenseモデルの構成要素とは異なる影響が生じるという。そのため、アーキテクチャの選定にあたっては、単純な総パラメータ数だけで判断するのではなく、確保可能なメモリ予算、求められる並行処理数、ファインチューニングの実施予定、量子化時の挙動といったデプロイ要件全体を考慮する必要があると結ばれている。

提供形態と評価環境

元記事では、Nemotron 3.5 Lightningの評価および利用方法についても案内されている。同モデルは「build.nvidia.com」上で対話的に評価できるほか、Hugging Faceを通じて「NVFP4」量子化版などの重みファイルをダウンロードしてローカル環境にデプロイすることも可能となっている。また、「OpenRouter」経由でのAPI推論アクセスも提供されている。