Amazon SageMaker AI、複数ターンの強化学習ガイドを公開　業務エージェントの低コストな育成を支援

要点

• AWSが、Amazon SageMaker AI上で複数ステップのタスクを訓練できる「マルチターン強化学習（MTRL）」の実践手法を発表した。

• 従来の単一ターン微調整と異なり、一連の行動が完了した際の結果評価（報酬）のみを手がかりとしてモデルを最適化できる。

• オープンソースモデル「gpt-oss-20b」による単語当てゲーム「Wordle」の検証では、正答率が61%から84%へと改善した。

• 約339ドルの訓練費用で実行でき、小規模モデルを独自業務ワークフローに適応させる手段として活用できる。

• 訓練データや構築したモデルは利用者のAWS環境内に保護され、基盤モデルの学習には使用されない。

• Amazon Web Services（AWS）は2026年10月23日、機械学習基盤「Amazon SageMaker AI」において、一連の対話や行動を伴うエージェントタスク向けにモデルを訓練する「マルチターン強化学習（Multi-Turn Reinforcement Learning：MTRL）」の実践ガイドを公式ブログで公開した。

• 単一プロンプトへの回答を前提とする従来の微調整手法とは異なり、タスク全体の成否に基づくモデル最適化が可能となり、オープンソースモデルを用いた実験では約339ドルの訓練費用で大幅な精度向上が確認されたという。

単一ターン微調整の限界とMTRLのアプローチ

一般的なファインチューニングは、1つの入力に対してより良い回答を生成するようモデルを訓練する。しかし、経費精算の申請やサポートチケットのトリアージ（優先度付け）といった自律型エージェントの業務では、過去の文脈を踏まえながら複数の行動を順序立てて実行する必要がある。

こうしたタスクには模倣すべき唯一の正解手順が存在しにくく、全体が成功したか否かという最終結果だけが確実な評価基準となる。教師あり微調整（SFT）では中間ステップごとの正解ラベルを用意できず、単一ターン向けの強化学習（RL）でも、数手前に行われた判断の寄与度を適切に評価できない課題があった。

SageMaker AIのMTRLは、この完了シグナルを用いてモデルを直接訓練する。開発者が正しい行動軌跡を細かく指定する必要はなく、エピソード終了時の結果を採点する報酬ルールのみを定義すればよい仕組みとなっている。

訓練ジョブとエージェント実行環境の連携構成

MTRLのシステムは、大きく「訓練ジョブ」と「エージェント実行環境」の2つで構成される。

SageMaker AI側が訓練ジョブおよび最適化対象となるポリシーモデルの管理を担う。一方、エージェント本体、タスクを実行する環境、および報酬関数は「Amazon Bedrock AgentCore」上にホストされる。なお、AWS Lambdaの転送機能を経由することで、Amazon Elastic Kubernetes Service（Amazon EKS）、Amazon Elastic Compute Cloud（Amazon EC2）、AWS Fargateといった自社インフラ上でエージェントを動かす構成もサポートされている。

訓練の試行（ロールアウト）ごとにSageMaker AIがAgentCoreを呼び出し、エージェントはポリシーモデルを参照しながら必要なターン数だけ環境内で行動して、終了時に単一の報酬値を訓練ジョブ側へ報告する。

「Wordle」を用いた検証成果とコスト

実践ガイドでは、ルールが明確で客観的な採点を行える題材として、5文字の英単語を6回以内で当てるパズルゲーム「Wordle」を用いた検証が紹介された。Wordleでは推測ごとに文字の一致状況がフィードバックされ、次の推測が過去の情報に依存するため、MTRLの特性検証に適している。

実験では、200億パラメータ規模のオープンソースモデル「gpt-oss-20b」を訓練対象とした。テスト用の未知の単語に対する正答率は、デフォルトの推論エフォート（思考レベル）設定で61%から84%へ向上した。また、学習時と同じ低い推論エフォート設定での検証でも、15%から69%への劇的な改善が記録されている。

この訓練に要したトークン費用は約339ドルだった。最先端のフロンティアモデルはすでにWordleを自力で解く能力を持つが、AWSは、本手法の本質は一般モデルが事前学習していない社内独自ワークフローに対し、低コストな小規模モデルを適応させることにあると説明している。

データ保護方針と公開リソース

利用者の訓練データセット、構築したエージェント、訓練済みモデルはすべて利用者のAWSアカウント内に保護され、基盤モデルの事前学習に流用されることはない。

AWSは、AgentCoreへのデプロイからデータセット準備、訓練、実験管理ツール「MLflow」でのモニタリング、実環境での評価までを網羅したエンドツーエンドのコードを、GitHubリポジトリ（aws-samples/sample-multi-turn-rl-wordle）で公開した。記事内では報酬設計で生じやすい誤りや訓練の失敗事例についてもあわせて共有されている。