AWS、SageMaker HyperPodと「SkyRL」を用いたマルチモーダル強化学習の高速化手法を公開

要点

• 米アマゾン・ウェブ・サービス（AWS）は2026年9月25日、機械学習ブログにおいて「Amazon SageMaker HyperPod」とオープンソースフレームワーク「SkyRL」を用いた強化学習手法を公開した。

• 自動ノード置換やチェックポイント復旧などの復元機能とRay連携により、大規模なマルチノード強化学習の安定実行とリアルタイム監視を実現している。

• ビジョン言語モデル「Qwen3-VL-8B」にGRPOアルゴリズムを適用したところ、視覚迷路タスクの解決率が43.75%から95%超へと向上した。

• 実装にはAmazon EKS環境のHyperPodクラスタに加え、共有ストレージのAmazon FSx for Lustreや専用のKubernetesオペレータ群が必要となる。

• 米アマゾン・ウェブ・サービス（AWS）は2026年9月25日、同社の公式機械学習ブログ「AWS ML Blog」において、機械学習基盤「Amazon SageMaker HyperPod」上でオープンソースの強化学習フレームワーク「SkyRL」を実行し、マルチモーダルモデルの事後学習を加速する手法を解説した記事を公開した。

• 大規模な強化学習で課題となりやすいハードウェア障害への耐性やクラスタ運用をHyperPodの耐障害機能と分散処理フレームワーク「Ray」で担保し、視覚タスクにおけるモデル性能を大幅に引き上げた検証結果を報告している。

マルチノード強化学習におけるインフラの課題

高度な推論や自律的な行動を行えるAIエージェントの構築において、強化学習（RL：試行錯誤と報酬を通じてモデルの行動方針を更新する学習手法）による事後学習（事前学習済みモデルの性能を特定用途向けに高める工程）は標準的なアプローチになりつつある。モデルは一連のステップに沿って行動の軌跡を生成し、その結果から報酬を受け取りながらポリシー（行動基準）を更新していく。
しかし、このプロセスを実用的な規模で実行するには、複数ノードにまたがって数百GPU時間に及ぶロールアウト（推論・試行データの収集）を処理する必要がある。長時間の学習ジョブを持続させ、ハードウェア障害が発生した場合でも進捗を失わずに迅速に復旧でき、さらに学習の動態をリアルタイムで追跡できるインフラ基盤が不可欠となっていた。

SageMaker HyperPodとRayによる耐障害性と監視の仕組み

AWSはこうした要求に応える基盤として、Amazon Elastic Kubernetes Service（Amazon EKS）上で稼働する「Amazon SageMaker HyperPod」の活用を紹介している。
HyperPodはノードの健全性を常時監視し、障害が発生したノードを自動的に置き換えるクラスタ復元力機能を備えているため、単一ノードのハードウェア障害によるクラスタ全体の停止を防止できる。また、定期的なチェックポイント保存と組み合わせることで、障害発生時もゼロから再開するのではなく直近の保存ステップから学習を継続できるため、長時間のマルチノード学習において数時間分の計算進捗を失うリスクを回避できるという。
さらに、HyperPodがサポートする「Ray（分散機械学習処理を効率化するフレームワーク）」の機能を組み合わせることで、開発環境のSageMaker StudioからRayクラスタを作成し、セキュアな接続を通じてリモートから学習ジョブを送信できる。「HyperPod Observability EKSアドオン」を導入すれば、構築済みの「Amazon Managed Grafana」ダッシュボードが自動的に提供され、学習状況をグラフィカルに監視することが可能となる。

視覚迷路タスクでの検証：解決率が43.75%から95%以上に向上

記事では具体的な実証例として、オープンソースの強化学習フレームワーク「SkyRL」を用い、ビジョン言語モデル（画像とテキストを統合して処理するモデル）である「Qwen3-VL-8B」に視覚的な迷路を探索・ナビゲートさせる学習が紹介されている。
学習アルゴリズムには、複数の生成結果を比較して効率的に方策を最適化するGRPO（Group Relative Policy Optimization）が用いられた。教師あり微調整（SFT：正解データを与えてモデルを調整する手法）を施した「VisGym SFTチェックポイント」を出発点としてHyperPod上でGRPO事後学習を実施したところ、固定された64種類の迷路評価セットにおいて、迷路の解決率が学習前の43.75%から95%以上にまで向上したことが確認された。

構築に必要なハードウェアとクラスタ環境

ブログ内では、この強化学習環境を再現するための前提要件も提示されている。
インフラストラクチャとしては、Amazon EKSで管理され、少なくとも3台の ml.g7e.12xlarge インスタンスと1台の ml.r5d.16xlarge インスタンスを備えたSageMaker HyperPodクラスタが必要となる。
また、Kubernetesクラスタ内には以下のコンポーネントを導入しておく必要がある。

• KubeRay operator: Kubernetes上でRayクラスタのライフサイクルを管理するオペレータ。
• HyperPod Observability EKS add-on: Grafanaによる監視環境を構築するアドオン。
• HyperPod Ray Endpoint Operator: 外部からの安全なジョブ送信エンドポイントを制御するオペレータ。

共有ストレージには「Amazon FSx for Lustre」のCSIドライバと、複数ポッドから同時アクセスが可能なPersistentVolumeClaim（ReadWriteMany）を使用する。学習ジョブはこのファイルシステムを /shared パスにマウントし、チェックポイントの保存、LoRA（Low-Rank Adaptation：パラメータの一部のみを効率的に更新する微調整技術）アダプタの同期、評価結果の出力先として活用する。このほか、クラスタへのアクセス権限を持つSageMaker Studioドメインと、Pythonパッケージ toolkit-for-ray-on-sagemaker-ai のセットアップが必要であると説明されている。