米Reflection、5010億パラメータのオープンモデル「Beam」を公開　100万トークン対応のスパースMoE

要点

• 米国の新設AIラボであるReflectionが、5010億パラメータの大規模言語モデル「Beam」をオープンソース（Apache 2.0）で公開した。

• スパースMoEアーキテクチャを採用し、1トークンあたりのアクティブパラメータを230億に抑えて高速な処理を実現している。

• 100万トークンにおよぶ長大なコンテキスト長に対応し、コーディングや自律型AIエージェントの用途に特化している。

• 5段階の推論深度設定や思考保持機能を備え、transformersやvLLM、SGLangなどの主要環境で公開初日から利用可能となっている。

• 米国の新興AI研究組織であるReflectionは2026年10月16日、パラメータ数5010億（501B）を誇るオープンな言語モデル「Beam」をHugging Face上で公開した。BeamはApache 2.0ライセンスのもとで提供され、自社インフラやクラウド上でモデルを直接保有し、用途に合わせて自由にカスタマイズしたいチーム向けに設計されている。100万トークンに及ぶ広大なコンテキストウィンドウを備え、主にコーディング支援や自律型AIエージェントの構築をターゲットにしているという。

230億アクティブパラメータで高速動作するスパースMoE

Beamはテキスト入出力に対応したモデルで、ネットワークの一部を動的に稼働させるスパースなMoE（Mixture-of-Experts：特定分野の専門ネットワークを組み合わせて処理する仕組み）構成を採用している。総パラメータ数は5010億に上るが、1トークンの処理で実際に計算を行うアクティブパラメータは230億（23B）にとどまり、大規模モデルの性能を維持しながら軽量モデル並みの速度で動作すると説明されている。

モデル内部は全52層のデコーダー構造（隠れ層サイズ5,120）で、最初の3層が密結合のSwiGLU MLP、残る49層がMoEブロックとなっている。各MoE層には256個のエキスパート（約3900万パラメータのSwiGLU MLP）が配置され、全体の98.4%のパラメータをこれらが占める。

各トークンをどのエキスパートに割り当てるかを決めるルーターには、AIモデル「DeepSeek-V3」に倣ったグループ制限方式を採用した。256個のエキスパートをシグモイド関数で採点して32個ずつ8グループに分け、上位2つのスコア合計が高い4グループを選出する。その中から上位8個のエキスパートを選出して計算を行う仕組みだ。なお、DeepSeek-V3と同じグループサイズを採用しているものの、全トークンで共通して動作する共有エキスパートは持たない構造となっている。

100万トークンの長文脈を支えるハイブリッド注意機構

100万トークンに達する長大な文脈を正確に処理するため、注意機構（アテンション）にも独自のハイブリッド設計が施されている。全52層のうち43層には直前512トークンのみを参照するスライディングウィンドウアテンションが採用され、局所的な相対位置を把握するために「RoPE（Rotary Position Embedding）」が用いられる。

これに対し、6層ごとおよび最終層の計9層には文脈全体を参照するグローバルアテンション層が置かれている。このグローバル層には通常の位置エンコーディングが存在せず、参照可能なトークン位置に応じて緩やかに増加する独自のスケーラー「(1 + (pos + 1) / 2048) 0.1」を各クエリに乗算する手法が導入された。これは「スケーラブル・ソフトマックス・クエリ・スケーリング」と呼ばれ、文脈が長大化してもソフトマックス演算の出力が平坦化せず、精度を保つための温度調整のような役割を果たすという。

さらに、メモリ効率を高めるGrouped-Query Attention（クエリヘッド48、キー・バリューヘッド8）を採用し、クエリとキーへの正規化処理（RMSNorm）の適用や、層の入力から計算された学習可能なシグモイドゲートが出力前に全ヘッドの各チャネルをスケーリングする構造となっている。

エージェント特化の推論制御とツール呼び出し

実用面において、Beamはコーディングや自律型エージェントの処理に最適化された機能を備えている。対話のターンをまたいで思考プロセスを文脈内に保持する「preserve_thinking」機能や、専用の文法規則に沿ったツール呼び出し（ツールコーリング）に対応するほか、トークナイザーにはレスポンステンプレートがあらかじめ組み込まれている。

また、ユーザーがタスクに応じて推論の深さを調整できるよう、「low」「medium」「high」「xhigh」「max」の5段階の推論値が用意された。標準値は「medium」に設定されており、問題の難易度に応じて思考レベルを柔軟に切り替えられる設計だ。

充実したエコシステム対応と賞金付きコンテスト

実用環境への導入を支援する周辺環境も幅広く整えられている。モデルのチェックポイントはBF16、FP8、NVFP4の3形式で配布され、DFlash2による投機的デコーディング（推論を高速化する補助モデル手法）用のドラフターモデルや、モデル本来の性能を引き出すためにRust言語で書かれた専用のオープンソースハーネスが同梱されている。

ソフトウェア面では、Hugging Faceの「transformers」に加え「SGLang」や「vLLM」といった推論ライブラリで公開初日（Day-0）からサポートされた。学習面でも「Miles」を用いたフルパラメータ強化学習に対応し、推論や教師あり微調整（SFT）、強化学習（RL）を実行するための各種レシピがReflectionとHugging Faceの共同で整備されている。

あわせてReflectionは、コミュニティ主導の開発を促進するため、総額1万ドル分のHugging Face Hubクレジットを提供するキャンペーンも発表した。Hugging Face Spaces上でのデモ公開や特定ハードウェア向けの量子化、合成データセット生成、強化学習環境の構築など、優れたプロジェクトを公開した利用者にクレジットが進呈されるとしている。