3.5億パラメータの小型AI、わずか100ステップの強化学習で構造化出力精度が29.7%に向上──Hugging Faceが軽量な微調整手法を公開

要点

• Hugging Faceが、3億5000万パラメータの小型言語モデル「LFM2.5-350M」を対象にした構造化出力性能の改善手法を公開した。

• 強化学習手法「GRPO」とライブラリ「TRL」を用い、約500サンプル・100ステップという極めて軽量な学習を実施した。

• 構造化出力の評価指標「IFStruct」において、正答率がベースモデルの22.6%から29.7%へと大幅に向上した。

• Google ColabやKaggleの無料枠GPUで学習が完結し、評価はllama.cppを用いてローカルのMacBook環境で実行できる構成となっている。

• 検証用ノートブックおよびデータセットはGitHubやHugging Face上でオープンソースとして公開されている。

• Hugging Faceは2026年9月3日、小規模な言語モデルの構造化データ生成能力を低コストで向上させる微調整（ファインチューニング）手順を公式ブログで公開した。Liquid AIが開発した3億5000万パラメータのモデル「LFM2.5-350M」に対し、強化学習手法を適用することで、わずか100ステップの学習でスキーマ準拠性能が大幅に改善することを確認したという。

構造化出力における課題と検証の背景

大規模言語モデルの実用において、指定されたJSONやYAMLなどの形式に沿って出力を行う「構造化出力」は極めて需要の高いタスクとされている。指定したスキーマ（データの構造や型を定義した仕様）通りに出力できるかどうかは、後続のシステムと連携できるかを左右する重要な要素だが、従来のベンチマークでは総合的な推論能力の中に紛れて個別に測定されにくい側面があった。

今回の公開記事では、こうした構造化出力への準拠性を評価するため、Liquid AIが公開したオープンソースのベンチマーク「IFStruct」（データセット名：LiquidAI/ifstruct-v1.0）を使用し、タスク特化の微調整が小型モデルに与える効果を検証している。

わずか100ステップで完結する軽量な強化学習レシピ

今回紹介された手法では、Hugging Faceの強化学習ライブラリ「TRL」と、強化学習アルゴリズムの一種である「GRPO（Group Relative Policy Optimization）」が採用されている。

学習規模は約500サンプル、100トレーニングステップに抑えられており、Google ColabやKaggleの無料枠で提供されているGPU環境でも十分に実行可能な計算量で構成されているという。一連の学習コードはJupyter Notebook形式にまとめられ、GitHubの「Liquid4All/cookbook」リポジトリにて公開されている。

ローカル環境でのベースライン評価と詳細な内訳

評価フェーズでは、クラウド環境ではなくMacBook Pro（Apple M5 Max、ユニファイドメモリ36GB搭載機）上のローカル環境が使用された。モデルの高速実行フレームワークであるllama.cppを用いてOpenAI互換のサーバーを立ち上げ、Pythonのパッケージ管理ツールuvを介してIFStruct評価ツールを実行する構成がとられている。

対象モデルにはBF16精度のGGUF形式（LiquidAI/LFM2.5-350M-GGUF）が用いられ、微調整前のベースモデルに対して2000サンプルの評価テストを実施したところ、以下のような結果が得られたと報告されている。

• 全体通過率：22.6%（2000件中452件パス、平均レイテンシ1453ms）
• 出力フォーマット別通過率：JSON形式が18.0%（1000件中180件）、YAML形式が27.2%（1000件中272件）
• トップレベル構造別通過率：キーで囲む形式（Wrapper key）が28.5%、リスト直書き形式（Bare list）が16.6%
• エンティティ別（一部抜粋）：イベントチケット予約が45.8%、不動産情報が37.8%、ログパーサー例が29.2%、カメラレビューが7.2%、GPUレビューが6.4%

微調整による性能向上と実証の意義

このベースモデルに対し、前述のGRPOによる軽量な微調整（約500サンプル、100ステップ）を施した結果、IFStructベンチマークにおける通過率は22.6%から29.7%へと引き上げられた。

記事の著者らは、今回の手順について、IFStructの論文で言及されている強化学習モデルそのものの再現を目的としたものではなく、小型モデルであっても特定のタスクに絞った微調整を行うことで、大幅に性能を改善し、より規模の大きいモデルの性能に迫ることができる実例を示すものだと説明している。