OWN NEWS GATHER
← 戻る
AWS ML Blog

AWS、Amazon Nova Forgeでマルチターン強化学習のカスタム報酬設計手法を公開　エージェント学習の最適化とサーバーレス版GAも提示

要点

  • AWSは2026年8月14日、AIモデル「Amazon Nova」をマルチターン強化学習でカスタマイズするための報酬関数設計手法を公式ブログで公開した。

  • 「Amazon Nova Forge」のBYOO機能により、会話状態の管理などをプラットフォームに任せつつ独自環境で報酬ロジックを実行できる。

  • インフラ管理が不要なサーバーレスのマルチターン強化学習オプションが一般提供（GA）となったことも明かされた。

  • ツール呼び出しやエラー回復を含む一連の行動軌跡全体の累積報酬を最適化する「マルチターンRFT」の仕組みを解説している。

  • GRPOへの対応、安全なコード実行、学習シグナルが消失する報酬設計上の落とし穴と検知手法にも触れられている。

  • Amazon Web Services（AWS）は2026年8月14日、公式の機械学習ブログにおいて、基盤モデル群「Amazon Nova」を対象としたマルチターン強化学習（RL）のカスタム報酬関数設計に関する技術記事を公開した。複数ステップで自律動作するAIエージェントの性能向上に向けて、モデルカスタマイズ基盤「Amazon Nova Forge」を活用した実践手法が紹介されている。また、実行環境の管理が不要なサーバーレスのマルチターン強化学習オプションが一般提供（GA）されたこともあわせて明らかにした。

単一応答から「行動全体の累積評価」へ：マルチターンRFTの仕組み

公開された記事では、Amazon Novaのモデルを調整するアプローチとして、強化学習微調整（RFT: Reinforcement Fine-Tuning。モデル自身の出力に対する評価シグナルから反復学習を行う手法）が取り上げられている。

従来の教師あり微調整（SFT: Supervised Fine-Tuning。正解データを与えて学習させる手法）では、思考プロセスを注釈付けした厳選データが必要となる。これに対しRFTは、モデル自身の出力に対する評価をもとに学習を進める。記事内で引用された研究（Chu et al., 2025）によると、同等の計算量で学習させた場合、SFTでは未知のタスクバリエーションに対する汎化性能が低下する傾向がある一方、強化学習を用いた手法では分布外データへの汎化性能が向上することが示されているという。

このRFTを拡張したものがマルチターンRFTである。単一のテキスト応答のみを評価するのではなく、ツール呼び出しやコード実行、エラーからの自律的回復といった一連のステップ（軌跡）全体を対象とする。エージェントが最終的な成果を達成するまでの累積報酬を最適化することで、自律的な作業遂行能力を高める設計となっている。

独自環境とサーバーレスを選べる「Amazon Nova Forge」の連携基盤

マルチターン強化学習において、モデルが何を学ぶかを決定づける中核が「報酬関数」である。望ましい成果を正しく定義できなければ、学習曲線が一見順調に見えても意図しない挙動をモデルが習得してしまうリスクがある。

こうした課題に対し、「Amazon Nova Forge」では「BYOO（Bring Your Own Orchestration）」機能を提供している。この仕組みにより、開発者は自前の環境内で独自の報酬ロジックを実行できる。モデルの応答生成（ロールアウト）やメッセージの受け渡し、ターンをまたぐ会話状態の管理といったオーケストレーションはNova Forge側が自動処理するため、開発者は報酬ルールの定義に注力できるとしている。

さらに、自前で実行環境を管理したくない開発チームに向けて、Nova ForgeのサーバーレスマルチターンRLオプションが一般提供（GA）となったことも示された。用途やインフラ体制に応じて、柔軟な選択が可能となっている。

GRPOの適用と安全なコード実行・落とし穴の検知

技術的な詳細として、強化学習アルゴリズム「GRPO（Group Relative Policy Optimization。複数の出力候補を比較して相対的な評価から効率的に学習する手法）」に対応した複合的なマルチターン報酬の設計手法が紹介されている。

記事内では、モデルが生成したプログラムコードを報酬関数内で安全に実行する仕組みや、報酬を構成する個々の要素を適切に計装（ログやモニタリングの組み込み）することの重要性が強調された。

特に、過去の実際の学習実行において、最も高い重みを割り当てていた評価項目が、設計不備によって学習シグナルを全く出力していなかったトラブル事例も明かされている。こうした問題は表面的なメトリクスだけでは検知しにくいため、報酬の内訳を詳細に測定して学習への寄与を確認できる体制を整える必要があると説明している。

前提条件と関連リソース

本機能を利用するための前提条件として、Nova Customization SDKおよびマルチターンRFT APIを提供する「Amazon Nova Forge」のサブスクリプションが必要となる。

なお、今回の記事はシリーズの第2弾にあたり、先行して公開されたPart 1では、Amazon SageMaker HyperPodとNova Forgeを組み合わせたインフラ構築や学習設定が解説されている。今回示されたコード例は、開発者が独自の報酬関数を実装する際の出発点として活用されることを想定しているという。

元URL