AWS、機械学習の推論向けコンテナ「Ray Serve Deep Learning Containers」を提供開始　TorchServeの保守終了に対応

要点

• 米Amazon Web Services（AWS）が、機械学習モデルの推論環境向けコンテナイメージ「Ray Serve Deep Learning Containers（DLC）」を公開した。

• PyTorch向け推論サーバー「TorchServe」の開発・保守が終了したことを受け、安全かつ継続的にモデルを運用できる代替基盤を提供する。

• 本コンテナはPyTorchやRay Serve、CUDAランタイムなどを事前検証済みで同梱し、バージョン不整合や脆弱性修正にかかる運用負荷を軽減する。

• Amazon EKS、Amazon EC2、Amazon SageMakerの各実行環境に応じたイメージが用意されており、視覚言語モデルなどの展開に対応する。

• 米Amazon Web Services（AWS）は2026年9月9日、機械学習モデルの推論向けに事前構築されたコンテナイメージ「Ray Serve Deep Learning Containers（以下、Ray Serve DLC）」を公開したと公式ブログで発表した。広く利用されてきたオープンソースのモデル配信用ソフトウェア「TorchServe」のメンテナンス終了を受け、エンジニアが直面する依存関係の管理やセキュリティ対応の負担を解消する目的で提供される。

TorchServeの保守終了と運用現場の課題

オープンソースの機械学習フレームワークであるPyTorch（機械学習モデルの構築や学習を行うための基盤ソフトウェア）向けの推論サーバー「TorchServe」は、現在アクティブなメンテナンスが行われていない。公式プロジェクトの通知によると、今後のアップデート、不具合の修正、新機能の追加、セキュリティパッチの配布予定はなく、新たに発見された脆弱性にも対応されない可能性があるとされている。

この発表により、TorchServeを利用してモデルの推論（学習済みモデルを用いて予測や生成を実行する処理）を行っているチームは、新たな課題に直面することとなった。PyTorchやGPU制御用の基盤であるCUDAの最新バージョンへの対応が止まるだけでなく、セキュリティ修正も停止するためだ。エンジニアはGPUスタック全体の互換性維持、各レイヤーにおける脆弱性へのパッチ適用、コンポーネント間の不整合によって発生する障害の調査などをすべて自前で管理しなければならず、モデルの提供速度を遅らせる要因になっていたという。

検証済みスタックを統合した「Ray Serve DLC」の構成

AWSはこれまで、モデル学習向けに最適化済みのDockerイメージ（アプリケーションと実行環境をひとまとめにした配布形式）を提供する「AWS Deep Learning Containers（DLC）」を展開してきた。今回発表されたRay Serve DLCは、そのアプローチをモデル推論の領域へと拡張したものである。HTTPエンドポイント経由でモデルを配信することに特化し、AWSによってテストと保守が行われた推論スタック全体が最初から組み込まれている。

Ray Serve DLCは、実行環境に応じてCPU版とGPU版が用意されている。CPU版は「Amazon Linux 2023」をベースイメージとし、GPU版はOS層とCUDAランタイムライブラリを含むNVIDIA公式の「Amazon Linux 2023」イメージ上に構築されている。これらのOS基盤の上に、PyTorch本体、FastAPIやUvicornを含む「Ray Serve」のサービング層、さらに画像・音声・マルチモーダル処理のための共通ユーティリティが統合されている。ユーティリティには、NVIDIAのハードウェアアクセラレーションに対応した動画前処理用のFFmpegなども含まれる。

すべての構成要素はリリース前に組み合わせて動作検証が行われており、CUDAランタイム、フレームワーク、サービング層の間でバージョンの乖離が起きないよう設計されている。また、セキュリティパッチはコンテナのビルド時に適用されるとしている。

多様なAWSサービスへの対応と柔軟なモデル展開

Ray Serve DLCは、利用するインフラ環境に合わせて複数のイメージタグが公開されている。コンテナオーケストレーション基盤である「Amazon Elastic Kubernetes Service（Amazon EKS）」および仮想サーバーの「Amazon Elastic Compute Cloud（Amazon EC2）」向けイメージと、フルマネージド機械学習サービスの「Amazon SageMaker」向けイメージが個別に提供される。これらは共通の依存関係やスタックを持ちながら、各サービスのサービング仕様に応じた専用のエントリポイントを備えている。

本コンテナには標準的な推論スタックがあらかじめ組み込まれているため、視覚言語モデル「Qwen3-VL」をはじめとする多くのモデルを、カスタムイメージを作成することなくそのまま実行できるという。また、追加のライブラリが必要となるモデルの場合でも、検証済みのベースイメージの上にレイヤーを重ねる形で柔軟にカスタマイズが可能と説明している。

Amazon EKSでのデプロイ実例と動作前提

元記事では具体的な利用例として、GPU版のRay Serve DLCを用い、Amazon EKSの単一GPUノード上で視覚言語モデル「Qwen3-VL-2B」を配信する手順が解説されている。Ray Serveを用いてサービングアプリケーションを起動し、モデル推論を実行する構成となっている。

この手順を実施するための前提条件として、課金が有効化されたAWSアカウント、利用対象リージョンにおけるGPUインスタンス「g5.xlarge」の十分なサービスクォータ、そしてAWS CLI、eksctl、kubectlの各コマンドラインツールがインストール・設定されている必要があるとしている。なお、デプロイに必要な完全なコードは付随のリポジトリで公開されている。