NVIDIA、大規模AI向けEthernet「Spectrum-X」の優位性を解説 DeepSeek-V3学習検証や高速フェイルオーバー性能を公開
要点
- NVIDIAは、超大規模AIデータセンター向けネットワーク「Spectrum-X Ethernet」の構造と検証データを公式技術ブログで公開した。
- 従来の汎用Ethernetは、AI学習特有の同期的で大容量な集合通信においてハッシュ衝突や輻輳制御の遅れが生じやすい課題がある。
- 大規模言語モデル「DeepSeek-V3」の学習シミュレーションにおいて、他トラフィック混入時に従来Ethernetが1.6倍遅延した一方、Spectrum-Xは668ミリ秒のステップ時間を安定維持した。
- スイッチとNICの協調設計により、ネットワーク障害発生時の切り替え時間を従来の1.08秒から2.68ミリ秒へと大幅に短縮した。
米NVIDIAは2026年8月24日、超大規模AIデータセンター向けに独自開発したネットワークアーキテクチャ「Spectrum-X Ethernet」に関する技術解説記事を公式技術ブログで公開した。数十万基のGPUを接続する分散学習環境においてネットワークが主要な性能ボトルネックとなるなか、従来型Ethernetが抱える構造的課題と、同社のアプローチによる解決策を詳述している。記事内では大規模言語モデル「DeepSeek-V3」を用いたシミュレーション結果や、障害発生時の復旧速度に関する実測値が明らかにされた。
AI特有の通信パターンと従来型Ethernetの構造的限界
NVIDIAの解説によると、従来の汎用Ethernetは数百万規模の小さな独立した通信（高エントロピー通信）を処理する用途で広く普及してきた。しかし、数十万規模のGPUが互いに同期を取りながら進めるAIの分散学習では、少数の極めて巨大な通信が同時に発生する低エントロピーな通信パターンとなる。GPU同士が全対全でデータを同期する集合通信（All-Reduce、All-Gather、All-to-Allなど）において、従来型Ethernetでは以下の3つの課題が表面化するという。
1つ目は、ECMP（Equal-Cost Multi-Path：複数の同等経路へ通信を分散する技術）によるハッシュ衝突と遅延ノードの発生だ。ECMPは静的なハッシュ計算に基づいてパケットを割り振るため、リアルタイムの混雑状況を考慮できない。このため、特定の経路に大容量の通信が集中して衝突し、処理が遅れるノード（Straggler）が生じる。同期処理は最も遅い通信の完了を待つ必要があるため、1つの経路の遅延がシステム全体のGPUをアイドル状態にしてしまう。
2つ目は、パケット損失と輻輳制御のジレンマである。ネットワーク混雑でスイッチのバッファが溢れるとパケット損失と再送が発生し、AIの性能が著しく低下する。パケット損失を防ぐためにRoCEv2（Ethernet上で直接メモリアクセスを行う規格）でPFC（Priority Flow Control：優先度に応じて送信を一時停止する制御）を用いると、停止信号がネットワーク全体に連鎖して先頭ブロック（Head-of-Lineブロッキング）を引き起こし、通信全体を停止させるリスクを抱える。
3つ目は、DCQCNなどの従来の輻輳制御プロトコルがAI特有の突発的な同期バースト通信に対して反応が遅れやすく、バッファの肥大化やレイテンシの急上昇を招きやすい点だと説明している。
DeepSeek-V3学習シミュレーションで示された分離性能
記事では、複数のジョブが混在するマルチテナント環境における影響についても言及された。従来型Ethernetでは、別ジョブの通信干渉（Noisy Neighbor）によってAll-to-All集合通信の実効帯域が80%以上低下することがあるという。
この影響を検証するため、大規模言語モデル「DeepSeek-V3」の学習シミュレーションが実施された。検証結果によると、標準的なEthernetでは単独実行時の学習ステップ時間が735ミリ秒であったのに対し、バックグラウンドに通信ノイズが加わると1.18秒へと膨らみ、約1.6倍の性能低下が確認された。
これに対し、Spectrum-X Ethernetはプレーンごとに輻輳を隔離し、混雑箇所を回避して動的に経路を切り替えることで、単独実行時および高負荷な混在環境の双方において668ミリ秒のステップ時間を維持した。干渉環境下でも性能劣化が実質的に生じない隔離性能を発揮したとしている。
スイッチとSuperNICの協調設計と耐障害性
Spectrum-X Ethernetは、高性能スイッチとホスト側のSuperNIC（AI処理向けに高度化されたネットワークカード）を相互に協調設計することでこれらの問題を解決している。
具体的には、ハードウェアアクセラレーションによる適応型ルーティング（Adaptive Routing）、的確な輻輳制御、そしてSuperNIC側に搭載されたロードバランサーによる動的な負荷分散技術（Spectrum-X Multiplane技術）を統合している。
本番クラスターおよびシミュレーションによる実証では、リンク障害が発生した際のフェイルオーバー（予備経路への切り替え）時間が、従来型Ethernetの1.08秒に対してSpectrum-Xは2.68ミリ秒を記録した。高いスループットの維持とテイルレイテンシ（遅延の最大値）の極小化を実現し、AIモデルの学習完了までにかかる時間（Time-to-AI）を根本的に短縮する設計指針を提示している。