Amazon SageMaker HyperPodとQumuloの連携によるマルチリージョンAI学習手法が発表、データ転送なしで高スループットを維持

要点

• AWSは、大規模AIモデルの学習においてデータとGPUリソースが異なるリージョンにある環境でも、データを移動させずに高速学習を可能にするソリューションを発表した。

• 「Amazon SageMaker HyperPod」とQumuloのストレージ技術を組み合わせることで、60ミリ秒のネットワーク遅延がある環境でもローカル配置と同等の毎秒115〜117サンプルのスループットを実証した。

• 予測キャッシング機能「NeuralCache」により、学習初期の100〜150バッチ経過後はGPU利用率が98〜100%に達し、ウォームアップのオーバーヘッドは大規模学習全体の0.1〜1%未満にとどまる。

• コンピュートノード自体がリージョン間アクセスを行う必要がなく、VPCピアリングとNFSマウントを通じてローカルNVMeストレージから効率的にデータが供給される。

• AWSは2026年9月25日、公式の機械学習ブログ（AWS ML Blog）において、耐障害性に優れた学習基盤「Amazon SageMaker HyperPod」とストレージベンダーQumuloの技術を組み合わせた、マルチリージョン環境でのAIモデル学習手法を発表した。GPUコンピュートリソースと学習データセットが異なるAWSリージョンに存在する場合でも、コードの改変やペタバイト規模のデータ複製を行うことなく、高いスループットを維持したまま学習を進められるアーキテクチャとその検証結果を明らかにしている。

計算資源とデータ配置のトレードオフに対する解決策

フロンティアモデルをはじめとする大規模AIモデルのトレーニングには膨大なGPUキャパシティが不可欠だが、利用可能な計算資源と学習用データセットが常に同一のAWSリージョンに存在するとは限らない。リージョンをまたいでデータにアクセスする場合、ネットワーク遅延とデータ転送コストが課題となる。

従来、開発チームは「ペタバイト規模のデータを学習先のリージョンへ複製する」か、「読み込みごとに発生するリージョン間のネットワーク遅延を受け入れて学習速度の低下を甘受する」というトレードオフに直面していた。今回発表された手法は、この課題を解決し、スループットを犠牲にすることなく他リージョンやオンプレミスに置かれたデータセットを直接読み込んで学習を進行させるものだという。

遠隔リージョン間での実証実験：60ミリ秒の遅延下で同等性能を達成

発表では、実際の検証環境として2つの独立したクラスターを用いて同一の学習ジョブを実行した結果が示されている。データセットと同じ米国東部（オハイオ、us-east-2）リージョンに設置された「ハブクラスター」と、データから離れた米国西部（オレゴン、us-west-2）リージョンに設置され、60ミリ秒のネットワーク遅延を介してリモートアクセスを行う「スポーククラスター」を用意してスループットの比較が行われた。

検証の結果、遠隔地のスポーククラスターは短いウォームアップ期間を経た後、データと同居しているハブクラスターと同等のスループットである毎秒115〜117サンプルを達成した。

学習初期の100〜150バッチの間はGPU利用率が80〜90%となるものの、その後は98〜100%の利用率へと収束することが確認されている。この1回限りのウォームアップによる影響は、1万バッチ以上の実行では全体の経過時間の1%未満、10万バッチ以上の実行では0.1%未満にとどまり、大規模な学習においては無視できる水準であると説明されている。

単一リージョンにおける実行性能

本ソリューションを単一リージョン内で適用した場合の性能特性についても数値が公開されている。クラウド向けファイルストレージ「Cloud Native Qumulo（CNQ）」のアーキテクチャにより、ストレージ容量の規模とは独立してパフォーマンスを拡張できる仕様となっている。

これにより、3ミリ秒未満のデータ操作レイテンシを実現し、99%のGPU利用率を維持しながら、分散学習向けインスタンスである「p5.48xlarge」のネットワーク帯域を飽和させる性能を発揮したという。

構成要素と予測キャッシングの仕組み

本アーキテクチャは、AWSのマネージド学習基盤とQumuloのストレージレイヤーを連携させることで成り立っている。

• Amazon SageMaker HyperPod: 自動ヘルスチェック、障害ノードの自動交換、チェックポイントからの復旧機能を備え、長時間の学習を安定して継続させるインフラを提供する。
• 単一の信頼できる情報源（Single Source of Truth）: 学習データセットは移動させず、CNQを用いて単一のAWSリージョンに集中管理する。
• リージョン間接続の分離: 各HyperPodクラスターは、ローカルに展開されたCNQインスタンスをネットワークファイル共有プロトコルであるNFS（Network File System）経由でマウントする。スポーク側のCNQはVPC（Virtual Private Cloud）ピアリングを経由してハブ側からデータを取得するため、個々のコンピュートノードが直接リージョン間通信を行う必要がない。
• インテリジェントなデータ配置: Qumuloのデータ連携技術「Cloud Data Fabric（CDF）」に組み込まれた予測キャッシング機能「NeuralCache」がデータローダーのアクセスパターンを学習する。学習されたデータは高速なNVMe（Non-Volatile Memory Express）ストレージへ事前にキャッシュされるため、ウォームアップ後はリージョン間の物理的な遅延を意識することなくデータを供給できる構造となっている。