AWS、推論モデル「GPT-OSS-20B」の多言語化検証を公開　SFTと強化学習GRPOの役割分担を実証

要点

• オープンウェイト推論モデル「GPT-OSS-20B」は、多言語で指示を受けても英語で思考する傾向が強く、指定言語での推論成功率は22%にとどまっていた。

• 未習得の動作を教えるにはSFT（教師あり微調整）が必要であり、強化学習手法のGRPOは既存の動作を洗練する段階で効果を発揮することが示された。

• 「Multilingual-Thinking」データセットを用い、思考過程と回答言語が一致しているかを5言語・50問で検証した。

• 分散学習基盤には「Amazon SageMaker HyperPod」を採用し、LoRAやFSx for Lustre、EFAを組み合わせた環境で学習が実施された。

• 米Amazon Web Services（AWS）は2026年10月20日、公式技術ブログ「AWS ML Blog」において、オープンウェイトの推論モデル「GPT-OSS-20B」を多言語推論に対応させるためのファインチューニング（微調整）に関する検証結果を公開した。

• 指定された言語で思考・回答させるアプローチとして、教師あり微調整（SFT）と強化学習手法GRPO（Group Relative Policy Optimization）の使い分けを整理し、モデルの能力ギャップに応じた手法選定の重要性を実証している。

• あわせて、一連の検証を支えたインフラとして「Amazon SageMaker HyperPod」を活用した分散学習環境の詳細も明らかにした。

英語で思考してしまうベースモデルの課題

GPT-OSS-20Bは、モデルの重みパラメータが公開されている200億パラメータ規模の推論特化型モデルである。同モデルは高い推論能力を持つ一方、思考の過程を英語で展開する強い傾向（事前分布の偏り）を持っているという。

ブログによると、フランス語やドイツ語などの非英語で推論を指示した場合でも、モデルは指示自体を認識しつつ、思考の連鎖（CoT：結論に至る推論ステップ）を英語で生成してしまう現象が確認されていた。
50問のテストケースによる多言語推論試験では、目的の言語で正しく推論できた割合は22パーセントにとどまった。この22パーセントの内訳は英語が100パーセント、ドイツ語が10パーセントで、フランス語、スペイン語、イタリア語はすべて0パーセントであり、正解の大半は英語によるものであったという。非英語圏のユーザー向けに推論モデルを提供する上で、この言語の切り替わりは実用上の課題となっていた。

「教えるSFT」と「磨くGRPO」の使い分け

このギャップを埋める手法として、AWSは教師あり微調整（SFT：正解データを用いて再学習させる手法）と、強化学習手法であるGRPOの適用関係を整理した。GRPOは、プロンプトごとに複数の回答候補を生成して比較し、平均以上の出力を選んで最適化を進める手法である。

AWSは両者の関係について、「SFTはモデルが持たない振る舞いを教え、GRPOはモデルがすでに時折出力できる振る舞いを最適化するものだ」と説明している。求める振る舞いの生成確率が初期状態でゼロの場合、GRPOで強化することは極めて困難となる。そのため、基礎的な動作獲得はSFTが担い、改善の余地（ヘッドルーム）がある場合にGRPOが上乗せの効果を発揮するという。
この知見を補強するため「Qwen2.5-7B」を用いた対照実験も実施され、タスクごとの能力ギャップに合わせて手法を選択することが結果を決定づけると報告された。

多言語推論を測定するデータセットと評価基準

実験には「HuggingFaceH4/Multilingual-Thinking」データセットが用いられた。英語に加え、フランス語、スペイン語、ドイツ語、イタリア語に翻訳された思考の連鎖を含む構成で、約949件の訓練データと50件の検証データが含まれている。
学習時にはシステムプロンプトで推論言語（reasoning language）を指定し、英語への強い偏りを上書きして目的言語で思考・回答させることが求められた。
評価は5言語にわたる数学・論理問題（計50問）で行われ、「思考の連鎖が指定言語で行われているか」および「最終回答が指定言語で行われているか」の2つの観点で判定された。

SageMaker HyperPodによる分散学習スタック

学習スタックには、「Amazon SageMaker HyperPod」と「Amazon Elastic Kubernetes Service（Amazon EKS）」によるオーケストレーション基盤が採用された。
GPT-OSS-20Bの学習にはPyTorch TRLライブラリが使用され、Qwenの対照実験ではトレーナーに「veRL」、分散オーケストレーションにRayおよびKubeRay、テキスト生成処理に「vLLM」が組み合わされた。
データの保存先には「Amazon FSx for Lustre」、ノード間通信には「Elastic Fabric Adapter（EFA）」が利用された。また、すべての微調整において、パラメータ効率が高く双方の手法に適したLoRA（Low-Rank Adaptation）が用いられた。