AWS、Amazon SageMaker HyperPodに新機能を追加　エンタープライズ向けのAIモデル推論環境を強化

要点

• 米アマゾン・ウェブ・サービス（AWS）は、大規模なAIモデルの運用を支援する基盤サービス「Amazon SageMaker HyperPod」における推論環境を強化する新機能群を発表した。
• データの可観測性を向上させるため、エンドポイント、ロードバランサー、モデルポッドの3つの異なる階層で個別にリクエストとレスポンスを記録できる「推論データキャプチャ」が導入された。
• 「Hugging Face」などの外部コミュニティプラットフォームから直接モデルをデプロイ可能となり、事前にデータをストレージへ転送する手間が省けるようになった。
• 高速な「NVMe」ストレージを活用した起動遅延の短縮、Route 53との統合によるドメイン管理の自動化、ポッド単位のIAM権限設定によるセキュリティの向上も同時に実現している。

リード文

米アマゾン・ウェブ・サービス（AWS）は2026年7月9日、同社の公式ブログにおいて、大規模モデルの運用をサポートする基盤サービス「Amazon SageMaker HyperPod」の推論機能を大幅に強化したと発表した。この発表により、企業が生成AI（人工知能）の処理能力を拡大する際に直面する、処理速度や安全性の担保、運用の透明性といった課題に対する解決策が提示される。具体的には、データの詳細な記録や外部モデル共有サービスとの統合、ストレージの高速化などが含まれている。

本文

3つの階層で記録可能な「推論データキャプチャ」

今回のアップデートにおける目玉機能のひとつが、AIモデルの動作を監視するための「推論データキャプチャ（Inference data capture）」機能である。AIモデルに新しいデータを入力して予測や判断結果を出力させるプロセスを「推論」と呼ぶが、本機能ではこの推論処理において、どのような要求（リクエスト）が送られ、どのような結果（レスポンス）が返ってきたかを自動で記録できる。これにより、モデルの異常を検知する監視活動や不具合の調査（デバッグ）、モデルの精度改善に向けたデータ収集が容易になるという。

データの流れとしては、リクエストの受付口である「SageMaker AIエンドポイント」から、アクセス負荷を分散する「Application Load Balancer（アプリケーション・ロードバランサー）」を経由し、モデルが動作する最小の実行単位である「モデルポッド」へと流れる。新機能では、これら3つの階層それぞれで、データの記録を個別に有効化・設定することができる。これにより、企業は必要とする監視レベルに合わせて、柔軟に記録対象を調整できる。

データキャプチャを利用するには、前提条件として、記録データを保存するためのクラウドストレージサービスである「Amazon S3（Simple Storage Service）」のバケット（データ保存領域）と、書き込みを行うためのアクセス権限が必要となる。バケットを指定しなかった場合は、安全な通信のために用いられる「TLS（Transport Layer Security）証明書」が格納されているバケットが代わりに自動使用される。

また、各階層ごとに個別の設定項目が存在する。エンドポイントの階層では、機能の有効化、送信先の指定、記録対象（入力、出力、またはその両方）、およびデータをサンプリングする割合を選択する必要がある。ロードバランサーの階層では、機能の有効化と保存先の指定を行う。モデルポッドの階層では、有効化するだけでデフォルトで入力と出力の両方を100%サンプリングして記録する仕組みとなっている。

さらに推奨設定として、記録データを暗号化するための「AWS Key Management Service（AWS KMS）」（暗号化キーの作成と管理を行うサービス）キーの設定が挙げられている。そのほか、一時的にデータを溜めて書き出すバッファ設定（バッチサイズやフラッシュ間隔）、CSVやJSONなどのデータ形式を扱うためのHTTPヘッダー設定、および処理できるデータ容量（ペイロード）のサイズ制限なども管理者が調整できると説明されている。

外部モデルハブからの直接デプロイに対応

もうひとつの実用的な強化点として、機械学習モデルの共有プラットフォームとして知られる「Hugging Face」などの主要なコミュニティハブから、AIモデルをSageMaker HyperPod上に直接デプロイ（システムに配置して使える状態にすること）できるようになった。
従来は、モデルのデータ（重み）をあらかじめクラウド上のストレージにアップロードしておく必要があったが、本アップデートによりその事前の準備作業が不要になる。
この機能は、AIモデルを効率的に動作させるための推論用プログラム（ランタイム）である「vLLM」、「TGI（Text Generation Inference）」、「SGLang」などでネイティブにサポートされている。さらに、アクセス制限のあるモデルへの「ゲートアクセス」、特定のバージョンに固定する「リビジョン固定（revision pinning）」、および処理要求の安全な切り分けを行う「トークン分離」といったセキュリティ機能もあわせて提供される。

パフォーマンス向上とセキュリティの強化

今回の更新では、処理速度やセキュリティを強化するためのインフラ面の機能も導入されている。
まず、物理サーバーに直接接続された超高速なストレージ規格である「NVMe（Non-Volatile Memory Express）」からモデルデータを読み込む機能が追加された。これにより、システムが新しく起動する際にかかる時間（コールドスタート遅延）を大幅に削減できる。もしローカルNVMeからの読み込みが失敗した場合は、自動的に通常のクラウドストレージからの読み込みへ切り替えるバックアップ機能（フォールバック）も備わっている。

ネットワークの面では、ドメイン名とIPアドレスを紐づけるDNS（ドメインネームシステム）サービスである「Amazon Route 53」との統合により、カスタムドメインのDNSレコード管理が自動化される。
さらに、AWS上の操作権限を制御する「AWS Identity and Access Management（IAM）」を使い、モデルが動作するポッド単位できめ細かなアクセス権限を設定できるようになった。これにより、インフラ管理者はセキュリティ境界を厳格に制御し、他のプログラムとの干渉を防ぐことができる。

補足

AWSは、今回の一連の新機能により、企業が内部の統治ルール（ガバナンス）や運用の可視性を妥協することなく、より迅速に生成AIアプリケーションをリリースできるようになると述べている。