NVIDIA、AIインフラの性能低下と連鎖障害を防ぐフルスタック可観測性フレームワークを提示
要点
- NVIDIAは、AIファクトリー向けにコンピュートからネットワーク、推論サービスまでを包括するフルスタック可観測性（オブザーバビリティ）の設計指針を公開した。
- システムが完全に停止せず性能のみが低下する「グレー障害」が、分散学習全体を停滞させる連鎖的障害の要因になると指摘している。
- インフラを5つの障害領域に分類し、DCGMやUFM、Run:aiなどの専用監視ツールを各レイヤーにマッピングする手法を提示した。
- アラートをSLOやSLIに紐づく最小限のセットに絞り込み、PrometheusやGrafanaを用いた単一のトリアージダッシュボードで相関分析を行う運用モデルを推奨している。
米NVIDIAは2026年8月12日、同社の公式技術ブログにおいて、大規模AIインフラ（AIファクトリー）向けのフルスタック可観測性フレームワークを解説する記事を公開した。コンピュート、ネットワーク、ストレージ、オーケストレーション、アプリケーションの各層を横断してテレメトリ（遠隔測定データ）を統合し、潜在的な障害の早期特定と根本原因分析を可能にするアプローチをまとめている。同社は、DGXやHGXといったハードウェア環境において、信頼性の高いAIワークロードを維持するための運用設計として本フレームワークを位置づけている。
部分的劣化が全体を止める「グレー障害」の課題
記事ではまず、AIインフラ特有の障害パターンとして「グレー障害（Gray failure）」が挙げられている。グレー障害とは、ハードウェアが完全にダウンしたとは判定されないものの、性能劣化や部分的な不具合が発生している状態を指す。
具体例として、3日間にわたって実行されている分散学習ジョブにおいて、GPU使用率やキューの待ち時間が正常に見えるにもかかわらず、実際にはスループットが低下し続けていた事例が紹介されている。原因を追及したところ、1本のInfiniBandリンクにおけるビット誤り率の上昇が原因であったことが判明したという。
AIの大規模モデル学習では、処理を同期させながら進めるバルク同期並列（BSP：Bulk Synchronous Parallel）モデルが広く採用されている。この仕組みでは、同期処理（NCCL all-reduceなど）の際、1つのノードやランク（処理単位）でリンクの再送処理などによる遅延が発生すると、他のすべてのランクもその最も遅い処理を待つ状態になる。これにより、単一箇所のわずかな劣化がクラスタ全体の停止や大幅なスループット低下を引き起こす「カスケード障害（連鎖的障害）」へ発展すると説明されている。
インフラを構成する5つの障害ドメイン
NVIDIAは、可観測性ソフトウェアを選定・構築する前の段階として、GPUリソースの浪費につながる障害ドメインをあらかじめ列挙しておく必要性を強調している。記事では、AIファクトリーを以下の5つの領域に分類している。
- プラットフォームの健全性
冷却ファン、電源ユニット（PSU）、Baseboard Management Controller（BMC）、シャーシ、CPU、メモリ、ローカルストレージなどの基礎コンポーネント。 - GPUの健全性とパフォーマンス
GPU使用率、動作温度、消費電力、XIDエラー（GPU内部エラー）、ECC（誤り訂正符号）エラー、NVIDIA NVLinkのスループットなど。 - ファブリック（ネットワーク）
InfiniBandおよびEthernetのリンク健全性、ネットワーク輻輳、スイッチやケーブルの状態、ラック規模のNVLink相互接続など。 - クラスタとジョブ
ジョブのスケジューリング、リソース予約状況、割り当てられたままアイドル状態になっているGPUの検知、キューの待機時間など。 - 推論サービス
NVIDIA NIMマイクロサービスなどを本番環境で運用する際のレイテンシ、リクエスト成功率、キャッシュの挙動など。
これらの領域において、複雑なシステムでは高負荷時に潜在的な障害モードが顕在化しやすいため、初期段階で各レイヤーの監視カバレッジを網羅しておくことが障害再発防止に重要であるとしている。
コンポーネントと専用ツールのマッピング
記事では、インフラの各コンポーネントに対して、どのツールからテレメトリを取得すべきかという具体的な対応関係が示されている。ツールの重複を最小限に抑えつつ、すべての監視ドメインに少なくとも1つの専用ツールを割り当てることが求められている。
取り上げられている主なツールとその対象は以下の通りである。
- NVIDIA DCGM（Data Center GPU Manager）: GPUの健全性、パフォーマンス、NVLinkテレメトリの収集
- NVIDIA NVSM（System Management）: サーバプラットフォーム全体の健全性監視
- NVIDIA UFM（Unified Fabric Manager）: InfiniBandファブリックの管理と監視
- NVIDIA NetQ: Ethernetネットワークおよびスイッチの監視
- NVIDIA NMX: クラスタ管理およびインフラ運用の支援
- NVIDIA BCM（Base Command Manager）: クラスタ全体のプロビジョニングとインフラ管理
- NVIDIA Run:ai: クラスタ上のジョブスケジューリング、リソース割り当て、ワークロード管理
- NVIDIA NIM: 最適化された推論マイクロサービスの実行監視
アラートの集約とトリアージダッシュボードの構築
運用面における重要な指針として、NVIDIAは「すべての製品からすべてのメトリクスを収集するのではなく、適切なシグナルを絞り込むこと」を挙げている。監視項目が多すぎると運用者がアラート過多に陥るため、SLO（サービスレベル目標）やSLI（サービスレベル指標）に直結する重要なアラートセット（top-k）を定義することが推奨されている。
さらに、これらのアラートをPrometheusやGrafanaなどの統合トリアージダッシュボードに集約し、異なるレイヤー間のシグナルを1つの画面で相関づけて分析できる環境を整えることが効果的であるとしている。すべての重大なアラートには明確な担当者と具体的な復旧手順（修復パス）が紐づけられている必要があり、大規模なコンピュートリソースが無駄になる前に異常を特定して対処できる能力が、可観測性の成熟度を測る基準になると論じている。