AWS、SageMaker AIとvLLM-Omniを活用した画像・動画生成パイプラインの実装手法を公開

要点

• AWSが、Amazon SageMaker AI上でテキストから静止画を生成し、さらに動画へと変換する一連の実装手法を公式ブログで公開した。

• 「AWS vLLM-Omni Deep Learning Container」を活用し、共通のコンテナイメージから画像生成と動画生成の2つのエンドポイントを個別にデプロイする構成を採用している。

• 即時応答が求められる画像生成にはリアルタイム推論を、計算負荷の高い動画生成にはAmazon S3と連携する非同期推論を組み合わせている。

• 実装を試すためのサンプルコードがGitHubで公開されており、コマンドライン操作に加えてStreamlitによるUI環境も提供されている。

• Amazon Web Services（AWS）は2026年9月28日、公式の機械学習ブログ「AWS ML Blog」において、クラウド機械学習プラットフォーム「Amazon SageMaker AI」上で画像と動画を連続生成するワークフローの構築手法を公開した。

• 本稿は特化型コンテナを活用した解説シリーズの第2弾として公開されたもので、マルチモーダル推論フレームワーク「vLLM-Omni」を組み込んだコンテナを用い、テキストプロンプトから生成した静止画を短い動画アニメーションへと変換するアーキテクチャが提示されている。

• 同一のコンテナイメージをベースにしつつ、モデルの負荷特性に応じてリアルタイム推論と非同期推論を使い分ける実践的な設計が特徴だという。

共通コンテナイメージから異なる2つのモデルを展開

公開された手法の中心となるのが、AWSが提供する最適化済み環境「AWS vLLM-Omni Deep Learning Container（DLC）」の活用である。Deep Learning Containers（DLC）は、AWS上での機械学習モデルの学習や推論に必要なフレームワークと依存関係をパッケージ化した公式コンテナイメージだ。

今回のソリューションでは、バージョンを固定した同一のAWS vLLM-Omni DLCイメージを使用しながら、環境変数「SM_VLLM_MODEL」の指定を変更することで、2つの独立したSageMaker AIエンドポイントを立ち上げる。具体的には、静止画生成用として「FLUX.2-klein-4B」を、動画生成用として「Wan2.1-VACE-1.3B（Wan VACE）」をそれぞれ個別配備する構成がとられている。

基盤技術である「vLLM-Omni」は、高速な大規模言語モデル推論エンジンであるvLLMを、テキストだけでなく音声、画像、動画などのマルチモーダルデータをOpenAI互換API経由で処理・生成できるよう拡張したプロジェクトである。AWS向けの専用DLCには、SageMaker AIの通信を仲介するルーティングミドルウェアがあらかじめ組み込まれていると説明されている。

テキストから画像、画像から動画へとつなぐ処理の流れ

システム全体における一連のデータ処理は、静止画の生成と動画への変換の2段階で実行される。

まず、ユーザーがアプリケーション（CLIまたはWebインターフェース）からテキストプロンプトを送信すると、画像生成モデル（FLUX.2-klein-4B）が稼働するSageMaker AIのリアルタイムエンドポイント（/v1/images/generations）にリクエストが送られる。このエンドポイントは結果をインラインで返し、生成された画像データがBase64エンコードされたPNG形式でアプリケーションに返却される。

続いてアプリケーション側で、受信した静止画を動画モデルの解像度に合わせてリサイズし、データ量を抑えたJPEG形式のデータURLへと変換する。この画像参照情報と動きを指定するモーションプロンプトを組み合わせたマルチパートリクエストを作成し、ストレージサービスであるAmazon S3（Amazon Simple Storage Service）へアップロードする。

その後、動画生成モデル（Wan2.1-VACE-1.3B）をホストするSageMaker AIの非同期推論エンドポイント（/v1/videos/sync）が呼び出される。「SageMaker Asynchronous Inference（非同期推論）」はS3からマルチパートリクエストを読み込んで動画生成を実行し、完成したMP4動画ファイルをS3の指定出力先へ書き出す。アプリケーションはS3からMP4ファイルを取得することで、動画の生成を完了させる仕組みとなっている。

ワークロードに合わせた推論方式の最適化

本構成において、画像生成と動画生成で異なる推論方式を使い分けている点も大きな特徴である。

比較的短時間で処理できる画像生成モデル（FLUX.2-klein-4B）には、結果を直接返すリアルタイムエンドポイントを適用して即応性を確保している。一方で、生成に長時間の計算を要する動画生成モデル（Wan2.1-VACE-1.3B）には、S3と連携して処理キューを管理する非同期エンドポイントを割り当てている。

このように共通のコンテナイメージを用いながらエンドポイントを分離することにより、サービング基盤のソフトウェア差異を抑えて運用管理を効率化しつつ、各モデルの計算負荷や処理時間に適したインスタンスタイプや推論オプションを個別に選択できると説明されている。

サンプルコードとStreamlitインターフェース

AWSは、本パイプラインを手元で検証できるよう、GitHubリポジトリ（sagemaker-genai-hosting-examples）でサンプルコードを公開している。リポジトリにはデプロイ用スクリプトのほか、コマンドラインから実行できるワークフローと、ブラウザから直感的にプロンプト入力や生成結果の確認を行えるPythonベースの「Streamlit」アプリケーションが含まれている。

なお、特化型DLCシリーズの第1弾では、vLLM-OmniとSageMaker AIの双方向ストリーミング機能を用いたリアルタイム音声対話が解説されていた。今回の第2弾では画像・動画生成を切り離して取り上げることで、異なるモデルやペイロード、応答パターンの設計を明確に示す狙いがあるとしている。