AWS、SageMaker AIでマルチターン強化学習を提供　検索エージェントの小型化と高精度化を両立

要点

• 米AWSは、機械学習プラットフォーム「Amazon SageMaker AI」において、検索エージェントをマルチターン強化学習（MTRL）でファインチューニングする手法を発表した。

• 複数ステップにわたる一連の探索行動全体を最適化することで、小型モデルでも大規模モデル並みの信頼性を実現しつつ、推論コストと応答遅延を低減できる。

• GPUクラスタの構築や管理が不要なサーバーレス構成に対応し、消費トークン数に応じた従量課金で本番規模の強化学習を実行できる。

• PPOやCISPOなどの強化学習アルゴリズムや、GRPOなどのアドバンテージ推定器を標準搭載し、非同期のデータ収集によって高速な学習を支援する。

• 米Amazon Web Services（AWS）は現地時間2026年10月2日、公式ブログ「AWS ML Blog」において、機械学習プラットフォーム「Amazon SageMaker AI」を利用した検索エージェント向けのマルチターン強化学習（MTRL：Multi-Turn Reinforcement Learning）に関する技術解説を公開した。大規模言語モデル（LLM）を用いたエージェント開発において、一連の検索プロセス全体を最適化することで、小型モデルでも高い検索精度と低コストな運用を可能にする新たな学習アプローチを提示している。

検索エージェント開発における課題とファインチューニングの限界

LLMを組み込んだ検索エージェントは、利用者が入力した単一の検索クエリをそのまま処理するのではなく、何を検索すべきか、どの検索手法を採用すべきか、いつ検索を終了すべきかを自律的に判断し、複数回のやり取り（マルチターン）を通じて段階的に結果を絞り込む。

しかし、こうした複数ステップにわたる動作を高い信頼性で実行させることには技術的な難しさがあった。ベースとなるモデルは最初から特定の業務環境やツールを理解しているわけではないため、軽量な小型モデルにプロンプトで指示を与えても、複数ターンにわたる複雑な動作を安定してこなすことは難しいという。一方で、最先端の大規模なフロンティアモデルを用いれば高い精度が得られやすいものの、呼び出しごとのAPIコストやレイテンシ（応答遅延）が増大するというトレードオフを抱えていた。

この課題を解決する手段として、小型モデルに直接ツールや環境を学習させるファインチューニング（特定用途向けの追加学習）が注目されている。しかし、従来のファインチューニング手法にもそれぞれ限界が存在していた。専門家による理想的な行動履歴のデータセットを用意するSFT（教師ありファインチューニング）は、作成コストが極めて高く、固有の環境に適合したデータが存在しないケースが多い。また、検証可能な報酬に基づく強化学習（RLVR）のような単一ターンを対象とする手法は1回ごとの応答を個別に評価するため、前後の文脈が複雑に絡み合う複数ターンの意思決定プロセス全体を最適化できないという構造的な問題を抱えていた。

一連の意思決定全体を最適化する「SageMaker AI MTRL」

こうした課題に対し、AWSが提案するのが「Amazon SageMaker AI MTRL」を活用したアプローチである。MTRLはエージェントのタスクを一連の意思決定の連鎖として捉え、マルチターンのシミュレーション（ロールアウト：環境とのやり取りの試行）によって学習データを生成し、ポリシー勾配アルゴリズムを用いてモデル全体を最適化する。

MTRLの大きな特徴は、各ステップごとの細かな正否ではなく、最終的な結果が良好であったかどうかの報酬シグナルのみに基づいて学習を進められる点にある。これにより、特定環境に応じたツールの使い方や対話の進め方がモデルに組み込まれ、開発者は最終的な出力品質をきめ細かく制御できるようになる。また、大規模なモデルに頼ることなく、特定タスクに特化させた小型モデルを運用できるため、推論時の処理速度向上とインフラコストの削減を同時に達成できるとしている。

開発と学習を効率化する主要機能

Amazon SageMaker AI MTRLでは、実環境での運用を迅速化するための多彩な機能群が提供されている。

• モジュラーなエージェント・環境インターフェース: 独自の報酬設定やツール呼び出しのループ、複数ターンの対話構造を、最小限のコード量（ローコード）で柔軟に定義できる。
• サーバーレスによる実行: GPUクラスタの事前のプロビジョニングや複雑なインフラ管理を必要とせず、トークン単位の従量課金制によって本番規模のエージェント強化学習を実行可能としている。
• 非同期ロールアウトとデータ収集: データの生成（ロールアウト）とモデルの勾配更新を並列で実行する。オフポリシーの陳腐化（生成データと現在のモデル状態の乖離）を一定の範囲に抑え込むことで、ポリシーの過度なドリフトを防ぎつつ、学習全体の高速化を図っている。
• 豊富な標準アルゴリズムライブラリ: PPO（Proximal Policy Optimization）をはじめ、CISPO（Clipped Importance Sampling Policy Optimization）、重要度サンプリング（IS）損失などの最適化手法を選択できる。さらに、GRPO（Group Relative Policy Optimization）やGRPO pass@k、RLOOなどのグループベースのアドバンテージ推定器と組み合わせて利用可能となっている。
• 再開可能な学習機能と可観測性: 単一のジョブ実行時間制限を超えるような大規模な学習プロセスを、複数のジョブに分割して継続実行できる。また、エージェントが各ターンでどのような行動を取ったか、報酬がどのように推移したかをステップ単位および全体の軌跡として詳細に可視化・検証できるモニタリング環境も備えている。

補足

LLMを活用した自律型エージェントの実用化が進む中、高い応答速度と運用コストの抑制を両立するモデルの特化型ファインチューニング技術として注目が集まっている。