AWS、Amazon SageMakerの生成AI推論機能を大幅拡充　2026年年初から13の新機能を投入

要点

• 米AWSは2026年9月18日、「Amazon SageMaker AI」の推論機能に関する2026年年初来のアップデート概要を発表した。
• モデルの大規模化やGPU不足に対応するため、インスタンス単位で利用できる2種類のデプロイ環境を提供している。
• 完全マネージドな「エンドポイント」とKubernetesベースの「HyperPod」の双方で、計13の新機能が追加された。
• 2〜3週間要していた設定選定を自動化する推論推奨機能や、キャッシュ最適化、各種パフォーマンス改善機能などが含まれる。

リード文

米Amazon Web Services（AWS）は2026年9月18日、公式ブログ「AWS ML Blog」において、機械学習プラットフォーム「Amazon SageMaker AI」における推論機能の2026年年初来の強化内容を発表した。生成AIモデルの運用難度が高まる中、同社はインフラ運用を任せられるマネージド環境と、コンテナ基盤を直接制御できる専用クラスタ環境の2つの形態において、合計13の新機能を投入したことを明らかにした。

生成AI推論における課題と2つの運用形態

AWSによると、生成AIの推論（学習済みモデルを用いて予測やテキスト生成を行う処理）は、従来の機械学習と比べて運用が極めて困難であるという。モデルの容量が数十から数百ギガバイトに達することに加え、1秒あたりの生成トークン数というシビアなレイテンシ（応答遅延）要件が求められる。また、コンテナやモデル重みデータの転送によって初期起動時に数分規模のコールドスタート（待機状態から処理可能になるまでの遅延）が発生する点や、GPUリソースの不足、従来の監視ツールではトークン単位の信号を検知できない点などが大きな障壁となっている。

これらの問題に対し、SageMaker AIではトークンごとの従量課金ではなく、インスタンス（仮想サーバー）単位でモデルを配置・運用する方式を採用している。デプロイ（システムの配置・稼働）の形態としては、インフラ管理と運用をAWSが一括して受け持つ「マネージドエンドポイント」と、専用GPUクラスターに対してKubernetesネイティブな制御を行える「Amazon SageMaker HyperPod Inference」の2つの選択肢が用意されている。

要件に応じて選べる2つのデプロイ環境

AWSは、ワークロードの性質に応じた構成を選択できるよう、2つのデプロイ環境を7つの軸で比較している。

マネージドエンドポイントは、インフラ全体をAWSが完全に管理する構成である。マネジメントコンソールや専用SDK、CLI（コマンドラインインターフェース）を通じて迅速に導入可能で、運用のオーバーヘッドを最小限に抑えたい企業やスタートアップに適している。スケーリングにはAmazon CloudWatchを用いたマネージドな自動拡張が適用され、コンテナ層やモデル層でのカスタマイズが行える。APIプロトコルとしては、OpenAI互換のAPIに対応している。

一方のSageMaker HyperPod Inferenceは、マネージドなKubernetes（コンテナ化されたアプリを一括管理するシステム）環境上で動作する。kubectlやTerraform、コンソール、CLI、SDKといった多様な管理ツールに対応し、ノードレベルへのアクセスや独自フレームワーク、AMI（仮想マシンイメージ）の適用など、より自由度の高いカスタマイズが可能である。オートスケーリングにはKarpenterやKEDA、CloudWatchが利用でき、HTTPやgRPC、カスタムロードバランサーによる通信に対応する。Kubernetesをベースに、モデル学習から推論までを一貫して扱うマルチクラウドやハイブリッドクラウド環境に適していると説明されている。

2026年にリリースされた計13の新機能

2026年の年初来において、AWSはこれら2つのデプロイ環境に対して合計13の新機能を投入した。

マネージドエンドポイント向けには、以下の7つの機能が提供された。

• Inference recommendations（推論推奨機能とベンチマーク）
• Capacity Aware Inference（キャパシティを考慮した推論）
• OpenAI API（OpenAI互換API対応）
• Container Caching（コンテナキャッシュ機能）
• Observability（オブザーバビリティ・監視機能）
• Async Inference Inline Payloads（非同期推論におけるインラインペイロード）
• Prefix-Aware Routing（プレフィックス認識ルーティング）

また、HyperPod向けには以下の6機能が提供された。

• Simplified Operator（簡素化されたオペレーター）
• Tiered KV Cache（階層型KVキャッシュ）
• Data Capture（データキャプチャ）
• Performance Features（各種パフォーマンス機能）
• Disaggregated Prefill and Decode for HyperPod Inference（プリフィルとデコードの処理分離）
• Model Caching（モデルキャッシュ機能）

推論推奨機能による手動ベンチマークの自動化

マネージドエンドポイント向けの新機能のうち、2026年4月に発表された「Inference recommendations and benchmarking」は、モデルデプロイに向けた検証プロセスを自動化する機能である。

生成AIモデルに適したインスタンスタイプや推論用コンテナ、最適化設定を選定するには、従来であれば1000通り以上の組み合わせに対して手作業でベンチマークを実施する必要があり、2〜3週間の期間と高度な専門知識が求められていた。推論推奨機能では、利用者が対象モデルと性能目標（コスト、レイテンシ、スループットなど）を指定するだけで、SageMakerが「絞り込み（narrow）」「最適化（optimize）」「ベンチマーク（benchmark）」の3段階の処理をエンドツーエンドで自動実行し、最適な構成を提示するという。

補足

Amazon SageMakerは、機械学習モデルの開発からトレーニング、デプロイまでを支援するAWSのフルマネージドサービスである。