OWN NEWS GATHER
← 戻る
AWS ML Blog

AWS、SageMaker AIと「vLLM-Omni」を活用したリアルタイム音声合成の構築手法を公開

要点

  • AWSは、Amazon SageMaker AIと「vLLM-Omni」公式コンテナを用いたリアルタイム音声ストリーミングの構築手順を発表した。

  • 生成完了を待たずに音声の生成と再生を並行処理することで、AIアシスタントなどの応答遅延を大幅に低減できる。

  • 音声合成モデルとして「Qwen3-TTS」を採用し、単一の持続的な双方向接続を介してテキスト入力と音声受信を処理する。

  • マルチモーダル推論に特化した専用コンテナシリーズの第1弾として公開され、次回は画像・動画生成を扱う予定となっている。

  • AWS（Amazon Web Services）は2026年9月28日、公式機械学習ブログにおいて、クラウド機械学習プラットフォーム「Amazon SageMaker AI」上でマルチモーダル推論ランタイム「vLLM-Omni」を活用し、低遅延な音声ストリーミングを実現する手法を公開した。本記事はマルチモーダル推論に特化した「AWS Deep Learning Containers（DLC）」を紹介する連載の第1弾として位置づけられており、オープンソースの音声合成モデル「Qwen3-TTS」をデプロイする具体的な手順が解説されている。持続的な双方向通信を活用することで、音声対話システムにおける発話開始までの待ち時間を最小限に抑える設計が示された。

応答遅延を低減する双方向ストリーミングとQwen3-TTSの採用

音声エージェントや対話型学習、アクセシビリティツール、カスタマーサービスなどのリアルタイム対話アプリケーションでは、ユーザーの入力に対する長い無音状態（沈黙時間）を排除することが重要視されている。元記事では、この課題を解決するアプローチとして、文章全体の生成完了を待たずに音声の再生を開始できるTTS（Text-to-Speech：テキストを自然な音声へと変換する音声合成技術）環境の構築手法を紹介している。

今回の構成では、音声合成モデルに「Qwen3-TTS（Qwen3-TTS-12Hz-1.7B-CustomVoice）」を採用している。Amazon SageMaker AIが提供する双方向ストリーミング機能を利用し、クライアントとモデルエンドポイント間で確立された単一の持続的な双方向接続を通じて、テキストの送信と生成された音声チャンク（分割データ）の受信を並行して行う仕組みだという。これにより、モデルがテキストを処理しながら逐次生成される音声を即座に受信・再生することが可能となり、対話の滑らかさが向上すると説明されている。

マルチモーダル対応ランタイム「vLLM-Omni」とAWS公式DLCの連携

今回のシステムで中核を担っているのが「vLLM-Omni」である。vLLM-Omniは、大規模言語モデル（LLM）の高速推論エンジンとして広く使われている「vLLM」を拡張し、テキストだけでなく音声、画像、動画などの複数モダリティを処理・生成できるようにしたオープンソースプロジェクトだ。異なるモダリティを連携させるヘテロジニアスなパイプライン抽象化を備えている点が特徴とされている。

AWSは、このvLLM-Omniの公式リリースをパッケージ化し、Amazon SageMaker AI向けのルーティングミドルウェアを追加した「AWS vLLM-Omni Deep Learning Container（DLC）」を提供している。AWS Deep Learning Containers（深層学習フレームワークや各種依存関係があらかじめ最適化・パッケージ化されたDockerイメージ群）を活用することで、開発者は複雑な環境構築を行うことなく、AWSのマネージド推論環境上で一貫したコンテナベースのデプロイが可能になるとのことだ。

音声対話パイプラインの統合とサンプルコードの公開

AWSはこれまでに、音声認識（STT：Speech-to-Text）モデル「Voxtral-Mini-4B Realtime」と通常のvLLMを用いて、マイクからの入力音声をリアルタイムに文字起こしする入力パイプラインの手法を公開していた。今回のPart 1で提示されたQwen3-TTSおよびvLLM-Omniによる音声出力側が加わることで、音声入力からテキスト変換、そしてテキストから音声出力に至るリアルタイム音声対話パイプラインの両輪が揃う形となった。

また、本発表に合わせてGitHubの「aws-samples」リポジトリ上にサンプルコードが公開された。ユーザーはリポジトリをクローンしてモデルをデプロイし、PythonのUI作成ライブラリであるGradioを利用したデモアプリケーションを通じて、テキスト入力から音声がストリーミング再生される一連のワークフローを直接確認できるとしている。

特化型DLCシリーズの今後の展開

AWSは現在、vLLMやSGLangといった標準的なテキスト生成フレームワークに加え、特定のモデルアーキテクチャやメディアパイプラインに対応する用途特化型DLCの展開を進めているという。今回の連載ではvLLM-Omniのほか、音声文字起こし向けの「WhisperX」や、軽量な推論環境を提供する「llama.cpp」などの専用コンテナを取り上げる予定とされている。

続くPart 2では、vLLM-Omni DLCを画像生成および動画生成タスクへと適用する手順が解説される予定であり、AWSは実際のユースケースに即したデプロイ例と再現可能なベンチマーク結果を順次示していく方針を明らかにしている。

元URL