AWS、小型モデル「Kokoro-82M」とSageMaker AIによる低遅延な音声エージェント構成を公開

要点

• 米AWSは、音声対話型AIエージェントの待機時間を短縮するため、小型音声合成モデル「Kokoro-82M」をAmazon SageMaker AI上で稼働させる手法を公開した。

• 回答全文の生成完了を待たずにエージェントが1文を出力するごとに逐次送信することで、生成開始直後から音声を即座に再生できる。

• パラメータ数8,200万の軽量モデルを採用し、GPUインスタンス「ml.g5.xlarge」1基で低遅延かつ低コストな推論を実現する。

• SageMaker AIの双方向ストリーミング機能を用い、単一接続内で音声データと制御フレームを双方向に送受信する構成を構築している。

• サンプル構成に含まれる古いPyTorchには既知の脆弱性（PYSEC-2026-2286）があり、検証目的以外での利用には更新が必要とされる。

• 米Amazon Web Services（AWS）は2026年10月22日、同社の公式機械学習ブログにおいて、機械学習基盤「Amazon SageMaker AI」上で軽量な音声合成モデル「Kokoro-82M」をホストし、AIエージェントの音声を低遅延でストリーミング配信するアーキテクチャを公開した。

• 長文の回答生成を待つことで生じていた数秒間の沈黙を解消するため、文単位の逐次合成と双方向ストリーミングを組み合わせた実践的な構成を提示している。

音声エージェントにおける待機時間の課題

AI音声エージェントでは、利用者の質問に対する応答開始の遅れが課題となっている。AWSによると、エージェント内部で最初の1文が600ミリ秒で生成されていても、複数段落に及ぶ回答全体の生成には5秒程度かかる場合があるという。
従来のText-to-Speech（TTS：テキストデータを音声信号に変換する技術）との連携では、回答全文の生成完了を待ってから音声合成を開始する構成が一般的だった。そのため、エージェントが回答を生成中であっても利用者は5秒間何も聞こえない状態に置かれ、不満や混乱を抱く原因になっていたと説明している。

文単位ストリーミングによる即時音声再生

今回示された解決策は、回答全体の完成を待たずにエージェントが文を出力するたび、即座にTTSモデルへストリーミング送信する手法をとる。これにより、回答全体の生成が終わる前であっても、最初の1文目が完成した段階で音声の再生を開始できるという。
あわせて、合成された音声をブラウザへ戻す通信手段についても言及されており、利用可能な2種類のトランスポート方式とそれぞれの実運用コストについても解説している。

軽量モデル「Kokoro-82M」による低コスト運用

本構成で採用された「Kokoro-82M」は、パラメータ数（AIモデルの規模を示す指標）が8,200万と非常に小さい軽量TTSモデルである。中位クラスの単一GPUインスタンスで安価に稼働できるため、実トラフィックを扱う音声エージェントにおいてレイテンシと推論費用の双方を低く抑えられる利点がある。
インフラ基盤にはSageMaker AIのリアルタイムエンドポイント（推論リクエストを常時処理するホスティング機能）が用いられ、インスタンスタイプには「ml.g5.xlarge」が指定されている。

双方向ストリーミングを支える内部アーキテクチャ

エンドポイント上のカスタムコンテナ内では、StarletteによるASGI（非同期Web通信規格）アプリケーションが稼働する。コンテナは、単一入力に対して応答をストリーミングする「POST /invocations」と、単一接続を開いたまま複数メッセージを双方向でやり取りする「WS /invocations-bidirectional-stream」の2つのルートを公開する。
クライアントは「InvokeEndpointWithBidirectionalStream」経由でエンドポイントに接続する。WebSocket通信はKokoro-82Mを実行する「KPipeline」へルーティングされ、同一接続上で音声フレームと制御フレームを送受信する仕組みとなっている。

導入に必要な前提条件とセキュリティ上の留意事項

本アーキテクチャの導入には、SageMaker AIエンドポイントや、Amazon Bedrock AgentCoreの機能である「AgentCoreランタイム」、IAMロール、Amazon ECRリポジトリの作成権限が必要となる。最低限必要なAPIアクションには「sagemaker:CreateEndpoint」や「sagemaker:InvokeEndpointWithBidirectionalStream」などが含まれる。
インフラ構築には「AWS Cloud Development Kit (AWS CDK) v2」を使用し、Dockerラベルとして「com.amazonaws.sagemaker.capabilities.bidirectional-streaming=true」を宣言する。実行環境としてはPython 3.12以降やパッケージ管理ツール「uv」が必要だ。
なお、サンプルコンテナでは古いPyTorchが固定されており、既知の脆弱性（PYSEC-2026-2286、torch 2.10.0で修正済み）が存在するため、検証以外の用途で運用する際は事前にバージョンを更新するよう警告している。