OWN NEWS GATHER
← 戻る
AWS ML Blog

AWS、複数GPUノードにまたがるLLM推論向けコンテナ「Ray LLM DLC」を発表――EKS上での処理分離と高速化を支援

要点

  • 米AWSは、複数GPUノードにまたがる大規模言語モデル（LLM）推論に対応した事前構築済みコンテナ「Ray LLM Deep Learning Containers（DLC）」を発表した。

  • 分散計算フレームワーク「Ray」環境向けにGPUスタックや依存関係があらかじめ検証されており、利用者は環境構築の手間を大幅に削減できる。

  • Amazon EKS上で2台のGPUノードを連携させ、単一エンドポイントの背後で入力処理と生成処理を分離して動作させることが可能となった。

  • 入力処理（Prefill）と逐次生成（Decode）をノード単位で分けることで、長文プロンプト処理によるトークン生成の遅延を防ぐ。

  • 高速ネットワークや転送ライブラリがあらかじめ同梱されており、公式サンプルコードもGitHub上で公開されている。

  • 米Amazon Web Services（AWS）は現地時間2026年10月12日、公式の機械学習ブログ（AWS ML Blog）において、複数のGPUノードを連携させて大規模言語モデル（LLM）の推論を実行するための事前構築済みコンテナ「Ray LLM Deep Learning Containers（DLC）」を発表した。Amazon Elastic Kubernetes Service（Amazon EKS、コンテナ化されたアプリケーションを運用管理するマネージドサービス）上で、1つのLLMを2台のGPUノードに分散展開する手法を解説している。同コンテナを活用することで、依存関係の構築負担を排したマルチノード推論環境を素早く整備できるという。

複数ノード展開における環境構築の負担を解消

元記事によると、近年普及しているオープンウェイトモデルや基盤モデルには、単一GPUのメモリに収まりきらない巨大なものが増加している。また、1つのレプリカ（複製単位）では要求されるスループットを満たせないケースや、推論性能を高めるために処理フェーズをノードごとに分割したいという需要も高まっている。

複数の計算機上で並列・分散処理を行うオープンソースのフレームワーク「Ray」およびそのサービング基盤「Ray Serve」を用いればマルチノード展開が可能となるが、従来は利用者が自前でGPUスタックやCUDAライブラリの整合性を確認する必要があった。AWSは、こうした依存関係の構築や不整合時のデバッグが差別化につながらない重労働となり、モデル提供に割く時間を奪っていたと指摘している。

これに対しAWSのDeep Learning Containers（DLC）は、フレームワークやGPUスタックをあらかじめテストしてまとめたDockerイメージ群である。今回のマルチノード向け「Ray LLM DLC」により、この事前検証済みコンテナの枠組みが複数ノード推論へと拡張され、AWSが保守・テストした完全な推論スタックを即座に利用できるようになったと説明している。

2ノードでの「Prefill/Decode分離」による推論遅延の抑制

発表ではマルチノードRay LLM DLCの実装例として、Amazon EKS上で2台のGPUノードを協調動作させる構成が紹介されている。外部に対しては単一のOpenAI互換エンドポイントとして機能しつつ、背後では一方のGPUノードが入力プロンプト処理である「Prefill（プリフィル）」を担い、もう一方のGPUノードが逐次生成処理である「Decode（デコード）」を担う。

LLMの推論処理において、計算負荷の高い長文プロンプトのPrefill処理は、すでに進行中であるリクエストのDecode処理を停滞（ストール）させてしまう原因となる。2つのフェーズを別々のGPUノードに分離することで、進行中のトークン生成を妨げずに処理を継続できるという。

AWSはこのPrefill/Decode分離構成について、検索拡張生成（RAG、外部検索結果をプロンプトに組み込む手法）や長文の要約、AIエージェント向けアプリケーションなど、プロンプトが長くなりやすいワークロードに最適だと述べている。さらに、テンソル並列、パイプライン並列、データ並列といった各種並列分散手法の適用にも適しているとしている。

アプリケーションコード不要でOpenAI互換APIを公開

マルチノードRay LLM DLCには、LLMサービング基盤「Ray Serve LLM」に加え、ノード間データ転送を効率化する「NVIDIA Inference Transfer Library（NIXL）」や、低遅延通信を実現する「Elastic Fabric Adapter（EFA）」スタックがあらかじめ組み込まれている。

そのため、利用者は独自のアプリケーションコードを記述することなく、OpenAI互換のHTTPエンドポイントを公開できる。過去に紹介された単一ノード向けの「Ray Serve DLC」からさらに進化し、複数マシンにまたがる推論基盤の構築が大幅に簡素化された形だ。

なお、Amazon EKS上で本構成を構築するための完全なコードは、AWSの公式GitHubリポジトリ（aws-samples）にてサンプルとして公開されている。

元URL