AWS、Amazon SageMaker Python SDK v3に生成AI推論の自動最適化機能を統合

要点

• AWSが、Amazon SageMaker Python SDKのバージョン3.17.0以降に、生成AIモデルの推論を最適化するためのレコメンデーション機能を統合した。

• 開発者は使い慣れたノートブック環境から直接、稼働中のエンドポイントに対する負荷テストや、最適なデプロイ構成の選定を行えるようになった。

• 負荷テストでは、スループットや最初のトークンが出力されるまでの時間（TTFT）、エンドツーエンドの遅延などを測定可能。

• 実際の利用パターンを模したテスト結果から、コストとパフォーマンスのバランスに基づいてランク付けされた推奨設定が提示される。

• 提示された推奨設定の中から最上位の構成を選択し、リアルタイムエンドポイントへ直接デプロイできる。

• 米アマゾン・ウェブ・サービス（AWS）は2026年8月6日、同社の機械学習プラットフォームである「Amazon SageMaker AI」において、生成AI（文章や画像などを自動生成する人工知能）の推論設定を自動で最適化するレコメンデーション機能を「Amazon SageMaker Python SDK v3」に直接統合したと発表した。この機能は、SDKのバージョン3.17.0以降で新たに利用可能となっている。これにより開発者は、モデルのデプロイやパフォーマンス検証を行う際に、使い慣れたノートブック（プログラムの記述と実行結果の確認を効率的に行える対話型開発環境）のワークフローから離れることなく、一連の最適化作業を完結させることが可能になった。

推論最適化における課題と新機能の狙い

生成AIモデルの推論（学習済みのAIモデルに入力を与えて結果を出力させる処理）を本番環境へデプロイ（システムを利用可能な状態に配置すること）する際、そのパフォーマンスを最大化しつつコストを抑えるためには、様々な設定の調整が欠かせない。具体的には、稼働するサーバーであるエンドポイントのベンチマーク（性能測定）の実施、ハードウェアであるインスタンス構成の評価、そして各種デプロイ設定の調整と検証を繰り返す必要がある。

これまでは、これらの最適化機能を利用するためには、管理画面である「Amazon SageMaker Studio」のユーザーインターフェース（UI）を操作するか、あるいはPython用の低レベルAPIである「Boto3」を用いて複雑なAPIコールを手動で構築する必要があった。

今回のアップデートにより、これらの最適化機能が「Amazon SageMaker Python SDK v3」の標準的なPython操作として統合された。これにより、開発者が日常的に使用するノートブック環境での作業や、自動化された機械学習パイプライン（モデルの構築からデプロイまでを自動で行う一連の仕組み）のワークフローに、推論最適化のプロセスを自然に組み込むことができるようになったという。

レコメンデーション機能の主な3つのメリット

統合された生成AI推論レコメンデーション機能は、以下の3つのステップを通じて推論の最適化を自動化する。

1. 実環境を模したベンチマーク測定
   稼働中のAmazon SageMakerエンドポイントに対し、合成トラフィック（テスト用に自動生成されたデータ負荷）や実際のトラフィックを用いて負荷テストを実行する。これにより、スループット（単位時間あたりの処理量）や、TTFT（Time-To-First-Token：推論リクエストを送信してから最初の1トークンが出力されるまでの時間）、エンドツーエンドの遅延などを正確に測定する。
2. コストパフォーマンスに基づく推奨設定の生成
   実際のモデル使用パターンに基づき、コストとパフォーマンスのトレードオフ（バランス）を評価する。この評価結果をもとに、最適なインスタンスタイプやフレームワークの設定、サーバー側のパラメータ設定などを探索し、ランク付けされた推奨構成として開発者に提示する。
3. 最適な構成でのダイレクトデプロイ
   生成された推奨構成リストの中から、最も高く評価された設定を選択し、Amazon SageMakerのリアルタイムエンドポイントへ直接デプロイすることができる。

提供される新しいSDKインターフェース

本機能は、SDK内のsagemaker.serve.ai_inference_recommenderパッケージで提供されており、以下の主要なAPI操作（エントリーポイント）が公開されている。

• ModelBuilder.from_jumpstart_config(...)
  SageMakerの事前学習済みモデル集である「JumpStart」のモデルIDと、実行するコンピューティング構成を指定して、モデル構築用のオブジェクト（ModelBuilder）を生成する。
• start_benchmark(endpoint, ...)
  デプロイ済みのエンドポイントに対して、条件を細かくカスタマイズした合成ワークロード（処理負荷）を用いて負荷テストを実行する。
• mb.generate_deployment_recommendations(...)
  設定されたワークロードに基づき、様々なインスタンスやフレームワークの組み合わせを自動的に探索し、ランク付けされた推奨デプロイ設定を生成する。
• mb.deploy(...)
  推奨設定リストにおける最上位の構成を採用し、リアルタイムエンドポイントへのデプロイを実行する。
• ModelBuilder.from_recommendation_job(job_name)
  すでに実行・完了した推奨ジョブの名前を指定することで、別のプロセスやセッションからでも同じ設定を引き継いでモデルオブジェクトを復元し、デプロイを行うことができる。

利用のための前提条件と準備

本機能を利用するためには、Amazon SageMaker Python SDKをバージョン3.17.0以上にアップデートする必要がある。インストールや更新は、以下のコマンドで実行できる。

pip install --upgrade sagemaker >= 3.17.0

このほかに、必要な前提条件として以下が挙げられている。

1. SageMakerの実行権限が付与されたIAM（Identity and Access Management）ロールを持つAWSアカウント。
2. 測定対象となる、すでにデプロイ済みのSageMakerリアルタイムエンドポイント、または新しくデプロイする準備ができているJumpStartモデル。

補足

今回のアップデートにより、従来はUI操作や複雑なAPI構築が必要だった推論の性能測定と最適化が、使い慣れたPythonコードから直接呼び出し可能となった。これにより、開発者はモデルの運用コスト削減と応答速度の向上に向けた検証サイクルを、より迅速に回せるようになるとみられる。