OWN NEWS GATHER
← 戻る
Hugging Face Blog

IBM、推論特化型のオープンLLM「Granite 4.2」を発表　3B・8B・30Bの3サイズ展開、思考モード制御やエージェント強化学習を導入

要点

  • 米IBMのGraniteチームは、推論能力を強化した大規模言語モデル群「Granite 4.2」を発表した。

  • モデルサイズは3B、8B、30Bの3種類で、すべてオープンソースのApache 2.0ライセンスで提供される。

  • 約15兆トークンの独自事前学習と5段階の戦略により、最大512Kトークンの長文コンテキストに対応する。

  • 課題に応じて推論リソースを調整できる「Thinking」「Non-thinking」「Low-effort」の3モードを備える。

  • 8Bおよび30Bモデルには、実環境でツールやコードを自律操作する「エージェント強化学習」が導入されている。

  • 米IBMの開発チーム「Granite Team」は2026年8月25日、推論能力の強化に特化した新しい大規模言語モデル（LLM）ファミリー「Granite 4.2」の詳細を公式ブログ（Hugging Face Blog）で公開した。同モデル群は3B（30億パラメータ）、8B（80億パラメータ）、30B（300億パラメータ）の3つのサイズで構成され、すべてApache 2.0ライセンスのもとでオープンソースとして公開されている。従来のGraniteシリーズが強みとしていた指示追従性能に加え、回答前に論理的な思考プロセスを組み立てる明示的な推論機能が組み込まれたという。

推論プロセスを制御する3つの動作モード

Granite 4.2は、回答を出力する前に推論過程を生成する「思考の連鎖（Chain-of-Thought：段階的に論理を組み立てて答えを導く手法）」の能力を備えている。特徴的な機能として、タスクの難易度や用途に合わせて切り替え可能な推論モードが導入された。

具体的には、深い思考を行う「Thinkingモード」と、推論プロセスを省略して即座に回答を出力する「Non-thinkingモード」を選択できるスイッチが備わっている。さらに、両者の中間に位置する「Low-effort（低負荷）モード」も用意された。これは簡単な質問に対して短い推論予算を割り当て、過剰な計算資源を消費せずに手短に思考を行う仕組みだとしている。

8B・30Bモデルへのエージェント強化学習とツール連携

今回登場した3つのサイズ（3B、8B、30B）は同一のアーキテクチャ設計に基づいており、いずれも高い推論能力と指示追従能力を備えている。その一方で、事後学習（Post-training）において明確な能力の差別化が図られているという。

中大型モデルである8Bおよび30Bには、独立した「エージェント強化学習（Agentic RL：AI自身が環境内で試行錯誤を通じて行動を学ぶ手法）」ブロックが適用された。これは、安全に隔離された実際のサンドボックス環境（安全な実行環境）内で、モデル自身がツールの呼び出し、コードの編集や実行、ターミナルの操作、Web検索などを実践的に行う方法を学習させる工程である。

また、全モデル共通でネイティブのツール呼び出し（Tool Calling：外部ツールやプログラムを自動で呼び出す仕組み）をサポートしている。vLLMなどのOpenAI互換エンドポイントで配信した場合、OpenAIの関数呼び出し形式で出力されるため、中継用の追加コードを記述することなく既存のエージェント基盤にそのまま組み込むことが可能とされている。高速推論エンジン「SGLang」でもサポートされており、公式のレシピが提供されている。

15兆トークンの5段階事前学習と長文対応

事前学習では、約15兆（15T）トークンのデータを用いてゼロからトレーニングが行われた。学習プロセスには独自の「5フェーズ戦略」が採用されている。

第1フェーズおよび第2フェーズでは、広範なWeb規模データを活用した基礎的な事前学習が行われる。続く第3フェーズと第4フェーズでは、厳選された高品質データを用いたアニーリング（段階的に高品質データへ移行する調整手法）を伴う中間学習が実施された。そして最終となる第5フェーズにおいて長文コンテキスト学習が導入され、モデルが一度に処理できるコンテキストウィンドウ（文脈幅）は最大512K（51万2000）トークンまで拡張されたと説明されている。

事後学習の段階では、思考の連鎖データや推論データ、エージェントの行動履歴（エージェント軌跡データ）を用いた教師あり微調整（SFT）が行われ、その後に多段階の強化学習パイプラインが適用された。

デコーダオンリー構成とアーキテクチャの仕様

Granite 4.2ファミリーは、デコーダオンリー（Decoder-only）の高密度トランスフォーマー（Dense Transformer）アーキテクチャを基盤としている。主要コンポーネントの仕様は以下の通りである。

  • アテンション機構: 計算効率を高めるGrouped Query Attention（GQA：アテンション計算をグループ化して効率化する技術）を採用。KVヘッド数は全サイズ共通で8、アテンションヘッド数は3Bが40、8Bと30Bが32となっている。
  • 位置埋め込み: 回転位置埋め込みであるRoPE（Rotary Position Embedding：トークンの相対的な位置関係を表現する手法、θ = 10,000,000）を使用。
  • フィードフォワード層: 活性化関数にSwiGLUを採用したMLP。
  • 正規化および精度: RMSNorm（ε = 1e-5）を用い、計算精度はbfloat16（16ビット浮動小数点数）で統一されている。
  • 埋め込み層: 入力埋め込みと出力埋め込みを共有しない分離型を採用。
  • 基本シーケンス長: 131,072（約131K）トークン。

各モデルのパラメータ設計を見ると、3Bモデルはレイヤー数40、埋め込みサイズ2560、アテンションヘッドサイズ64、MLP隠れ層サイズ8192で構成される。8Bモデルはレイヤー数40、埋め込みサイズ4096、アテンションヘッドサイズ128、MLP隠れ層サイズ12800となっている。最大規模の30Bモデルはレイヤー数64、埋め込みサイズ4096、アテンションヘッドサイズ128、MLP隠れ層サイズ32768という構成だ。

すべてのモデルおよび関連コードは、Hugging Faceのコレクション、GitHubリポジトリ、IBM Granite公式ドキュメントで公開されている。

元URL