NVIDIA、卓上AIワークステーション「DGX Spark」の8ノード連携を発表　統合メモリ1TBで巨大モデルをローカル実行

要点

• NVIDIAはGTC Berlinにて、卓上向けAIワークステーション「DGX Spark」を最大8台連結する8ノードクラスター構成を公式発表した。

• 8台の連結によりシステム全体の統合メモリは1TBに達し、7530億パラメータのオープンモデル「GLM 5.3」などのフロンティア級AIをローカル環境で実行可能になる。

• テンソル並列デコード向けに最適化された通信バックエンド「RoCEnante」により、8ノード時のデコード速度が単体比4.43倍に向上した。

• モデル間ルーティングツール「NeMo Switchyard」の併用により、応答品質を維持したまま全体の処理能力を最大3倍に引き上げられる。

• クラスター管理ツール「NVIDIA Sync」における8ノード構成の正式サポートは、2026年末までに提供される予定となっている。

• 米NVIDIAは2026年10月22日、同社公式技術ブログにおいて、卓上向けAIワークステーション「NVIDIA DGX Spark」を最大8ノードまで連携させるクラスター構成を公式サポートすると発表した。欧州で開催された技術カンファレンス「GTC Berlin」に合わせて明らかにされたものだ。複数台を束ねることで統合メモリを1TBまで拡張し、クラウドに依存せず手元のローカル環境でフロンティア級の超大規模AIモデルの推論や事前学習を実行可能にする。

統合メモリ1TBで7530億パラメータモデルが稼働可能に

DGX Sparkは、AI開発環境をオフィスのデスク上へもたらす目的で開発されたワークステーションだ。単体ノードの統合メモリ（CPUとGPUが物理メモリ空間を共有する仕組み）は128GBだが、4ノード構成で512GB、今回の8ノード構成により最大1TBに到達する。

このメモリ拡張により、従来の4ノード構成では起動すら難しかった巨大モデルのローカル稼働が可能になったという。その具体例として、Z.aiが開発した7530億パラメータのオープンモデル「GLM 5.3」のフル版チェックポイントが挙げられている。

同社によれば、単にモデルを読み込めるだけでなく、実用的な速度で対話的に実行できる点も特徴だとしている。予備検証として軽量版の「GLM 5.3 Flash」を8ノードクラスターで実行したところ、生成速度は約80 TPS（tokens per second：1秒あたりの生成トークン数）に達し、対話型開発に適した応答性を確認したという。

さらに、約470GBの容量を持つフル版「GLM 5.3（NVFP4形式、MTP3）」を8ノード上で稼働させたベンチマーク結果も公開された。プロンプト全体を一括処理するプリフィル処理と、トークンを逐次生成するデコード処理の測定結果は以下の通りだ。

• 同時実行数1：プリフィル合計1,600 TPS（1ユーザーあたり1,600 TPS）、デコード合計31 TPS（1ユーザーあたり31 TPS）
• 同時実行数4：プリフィル合計1,600 TPS（1ユーザーあたり750 TPS）、デコード合計51 TPS（1ユーザーあたり21 TPS）
• 同時実行数8：プリフィル合計1,600 TPS（1ユーザーあたり473 TPS）、デコード合計67 TPS（1ユーザーあたり18 TPS）
  ※入力長は1リクエストあたり8,000トークンで測定。NVFP4はデータを4ビット幅に量子化してメモリ消費を抑えつつ高速処理を行うNVIDIAの数値表現規格。

通信バックエンド「RoCEnante」で集団通信の遅延を短縮

モデルを複数GPUに分割して計算するテンソル並列推論では、全GPU間で計算結果を集約・共有するall-reduce（全還元）などの集団通信処理に多くの時間が費やされる。

NVIDIAは、スイッチ接続されたクラスター環境向けに、この通信遅延を削減する最適化バックエンド「RoCEnante」を評価中であることを明かした。RoCEnanteは、隣接ノードへ順次データを中継する従来のリング型通信と異なり、全ノード間ですべてのデータを直接交換（all-to-all）した上で、各ノードが局所的に合算リダクションを行う仕組みを採用している。単一のGPUカーネルがこの交換と集約を制御する。

全ノード間で直接送受信するため総データ転送量は増えるものの、通信ステップ数そのものを減らせる利点がある。小規模なノード数かつデータサイズが小さいテンソル並列デコードにおいて、通信遅延を大幅に抑えられるという。

検証によれば、RoCEnanteを用いない8ノード構成ではデコード速度の向上が単体比3.05倍にとどまったのに対し、RoCEnanteを導入した環境では4.43倍の高速化を達成したとしている。

推論性能のスケーリングと接続トポロジーの特性

推論スケーリングの検証では、「Qwen3.8-27B（NVFP4形式）」を用いたデータも公開された。デコードスループットは、1ノード時の約12 TPSから、8ノード構成時には52 TPSへと向上している。

またノード間の接続形態（トポロジー）について、スイッチを用いた接続はワークロードを柔軟に分割・配置する用途に適しており、ノード間を数珠つなぎにするリングトポロジーは、4ノード構成において費用対効果の高い推論環境を提供するとしている。

「NeMo Switchyard」による複数モデルの効率的ルーティング

現在のAI開発では、単一モデルの実行だけでなく、複数のモデルを並行動作させたり推論呼び出しを連携させたりするマルチエージェント型の利用が広がっている。

同社は、共有8ノードクラスター上でリクエストを適切に振り分けるオーケストレーションツール「NVIDIA NeMo Switchyard」の検証結果も示した。ツール利用を伴うベンチマークにおいて、高負荷な処理のみを大規模なQwenモデルに送り、大半のリクエストを小型モデルへと自動ルーティングした結果、Qwen単独で全件を処理した場合と同等の回答精度を維持しながら、クラスター全体の集約スループットを最大3倍に引き上げられたという。

小型モデルの事前学習で97.4%のスケーリング効率

推論処理だけでなく、学習における性能データも報告された。小型モデル「nanochat」をゼロからスクラッチで事前学習させた実験では、8ノード構成において単体比7.79倍の処理速度を記録した。

これはスケーリング効率にして97.4%に達しており、手元の卓上ハードウェア環境であっても、ほぼ理想値に近い線形な学習加速が得られることが示された形だ。

管理ツール「NVIDIA Sync」は年内に8ノード対応へ

こうした複数ノードの連携環境を容易に構築・運用できるよう、同社は管理ソフトウェア「NVIDIA Sync」を提供している。内蔵の「Cluster Assistant」機能により、複雑なネットワーク設定や各デバイスの管理作業を簡素化できる。

現在提供されている機能に加え、今回発表された8ノードクラスターへの公式対応アップデートは、2026年末までに提供される予定だという。