Amazon SageMaker AI、生成AIエンドポイントの適正規模を自動計測する「同時実行スイープ」の手法を公開
要点
-
米Amazon Web Services（AWS）は、生成AIモデル向けエンドポイントの費用対効果と応答速度を最適化する「同時実行スイープ」の手法を公開した。
-
同時リクエスト数を段階的に引き上げてスループットとレイテンシを測定し、性能が低下し始める飽和点を特定する。
-
最適な同時実行数、SLAを超過する限界点、ピーク時に必要なインスタンス台数の3要素をデータに基づいて算出できる。
-
「SageMaker AI Inference Recommendations」に統合されており、独自の負荷テスト環境を用意することなく利用可能となっている。
-
vLLMコンテナへのデプロイから「CreateAIBenchmarkJob」APIによる測定、分析までの4ステップで実施する。
-
米Amazon Web Services（AWS）は2026年9月22日、機械学習プラットフォーム「Amazon SageMaker AI」において、生成AIモデルを運用するエンドポイント（外部から推論を呼び出すための接続先）の規模を適正化する「同時実行スイープ（concurrency sweep）」の活用手法を公式ブログで公開した。本機能は「Amazon SageMaker AI Inference Recommendations」に組み込まれており、専用の負荷テストインフラを個別に構築することなく、最適なインスタンス選択と設定を導き出せると説明されている。
生成AIホスティングにおけるサイジングの課題
生成AIモデルをクラウド上で本番運用する際、適切なコンピューティングリソースを見極める「適正サイジング」は大きな課題となっている。従来の手法では、モデルをデプロイした後に手動で負荷テストを実施し、設定を調整して再度テストを繰り返すという試行錯誤が必要とされていた。
この見積もりを誤った場合、コストやサービス品質に直結する。たとえば、1台の「ml.g7e.2xlarge」インスタンスで十分なワークロードに対して誤って5台を割り当ててしまうと、稼働していないGPUに対して不要なコストを支払うことになる。一方で、インスタンス数を少なく設定しすぎると、アクセスが集中した際にリクエストがキューに滞留してレイテンシ（処理遅延）が急増し、利用者の体験を損なう結果となる。
同時実行スイープの仕組みと飽和点の特定
こうした課題を解決する手法として提示されたのが「同時実行スイープ」である。これは、SageMaker AIのエンドポイントに対して制御された同時リクエストを段階的に送信し、そのパフォーマンスを体系的にベンチマークする仕組みだという。
測定では主に以下の2つの指標を評価する。
- スループット: エンドポイントが1秒あたりに生成できるトークン（言語モデルが処理するテキストの最小単位）の数。
- レイテンシ: 各リクエストの処理にかかる所要時間。
テストでは、同時リクエスト数を例えば64から256、さらに1,024へと段階的に引き上げていく。これにより、同時トラフィックを増やしてもスループットが伸びなくなり、レイテンシが悪化し始める境界である「飽和点（saturation point）」を曲線として可視化できるという。
この計測結果から、本番環境のキャパシティ計画に必要な以下の3つのデータポイントが得られるとしている。
- 理想的なバランス: レイテンシを許容範囲内に抑えつつ、スループットを最大化できる同時実行レベル。
- 限界点: 応答時間がサービスレベル目標（SLA: サービスの品質基準）のしきい値を超過するポイント。
- 適正サイズ係数: 1インスタンスあたりの処理能力に基づき、想定されるピークトラフィックを処理するために必要なインスタンス台数。
4段階で進めるベンチマークと適正化のワークフロー
記事では、「NVIDIA Nemotron-3 Nano 30B」モデルを用いたエンドツーエンドの具体的な検証ワークフローとして、以下の4つのステップが解説されている。
- モデルのデプロイ: ネイティブのvLLM（大規模言語モデルの推論を高速化するオープンソース実行エンジン）コンテナを使用し、モデルをSageMaker AIエンドポイントへ展開する。
- ワークロードプロファイルの設定: 入力トークン数や出力トークン数、ストリーミングモードの利用有無など、想定されるワークロードの条件を定義する。
- スイープの実行: 「CreateAIBenchmarkJob」APIを呼び出し、自動化された同時実行スイープジョブを実行する。
- 結果の分析: 計測データを分析して最適な同時実行数を特定し、必要なインスタンス数に合わせて全体のフリート構成を調整する。
補足
Amazon SageMaker AI Inference Recommendationsの仕組みを活用することで、開発者は追加のベンチマークツールや負荷生成サーバーを自前で用意することなく、AWSのマネージドな環境内で効率的に生成AIモデルのキャパシティ検証を完了できるとしている。