Ai2が「Olmo-core 3」を公開、1兆パラメータ規模のMoE訓練を効率化するオープン基盤

要点

• 米Allen Institute for AI（Ai2）が、大規模言語モデルのオープンな訓練フレームワーク「Olmo-core 3」を公開した。

• Mixture-of-Experts（MoE）構造に特化した再設計により、1兆パラメータを超える超大規模モデルの効率的な訓練に対応する。

• 従来のFSDPからDDPベースへの刷新や各種最適化により、予備テストでは従来比約2.7倍となる訓練スループットを達成した。

• 総パラメータ数を46億から470億に拡張した際もスループット低下を5%未満に抑えるなど、高いスケーラビリティを実証している。

• エキスパート並列やパイプライン並列に加え、GPU常駐ルーティングやグループ化GEMMといった高速化技術を統合した。

• 米国の非営利AI研究所であるAllen Institute for AI（Ai2）は2026年10月1日、大規模言語モデル（LLM）向け訓練フレームワークの最新版「Olmo-core 3」をリリースした。同システムは、次世代のOlmoモデル開発を支える中核基盤として位置づけられており、1兆パラメータ規模に達する大規模なMoE（Mixture-of-Experts）モデルを高い計算効率で訓練できるよう設計されている。コードはGitHub上でオープンソースとして提供され、テクニカルレポートやインタラクティブデモも同時に公開された。

MoEモデルの通信課題を克服する新たな訓練基盤

大規模なAIモデルの訓練には膨大な計算資源が必要とされ、コストや消費電力の増大が学術研究者や小規模な研究所にとって大きな参入障壁となっている。こうした課題に対し、すべての入力に対してモデル全体を動作させるのではなく、入力に応じて一部の学習済みコンポーネント（パラメータ）のみを活性化させるMoEアーキテクチャが効率的なアプローチとして注目されている。

しかし、MoEであってもモデル全体の重みデータはGPUメモリ上に保持して訓練中に更新する必要がある。さらに、クラスタ内の適切な「エキスパート」（MoE内の特化型コンポーネント）へ入力データを振り分けるルーティング処理において、GPU間の通信や調整に伴うオーバーヘッドが生じる。モデル規模が拡大するにつれてこの通信コストが増大し、モデルの一部のみを計算に使うというMoE本来の効率性が損なわれてしまう問題があった。Olmo-core 3は、こうしたボトルネックを解消し、規模を拡大しても高い計算効率を維持することを目指して開発された。

470億パラメータでスループット2.7倍、1兆規模の動作も実証

Olmo-core 3の性能検証では、規模拡張時における高い効率性が示されている。検証ベンチマークにおいて、トークン（言語モデルが処理するテキストの最小単位）ごとに選択するエキスパート数を4つに固定したまま、エキスパートの総数を8個から128個へと拡大させた。この構成により、1トークンあたりのアクティブパラメータ数を約32億（3.2B）に維持した状態で、モデル全体の総パラメータ容量を46億（4.6B）から470億（47B）へと約10倍に増やしたところ、訓練スループットの低下は5%未満に抑えられたという。

さらに同インフラは、総パラメータ数が1兆（1 trillion）を超える規模でのベンチマーク検証も完了している。

また、8台のNVIDIA B300 GPUを用いた予備テストでは、470億パラメータのMoEモデルにおいて、GPU1台あたり毎秒5万2000トークンの処理性能を記録した。これは、同フレームワークの従来実装における毎秒1万9400トークンと比較して約2.7倍のスループットに相当する。

FSDPからDDPへ：MoEの動作原理に合わせた設計刷新

Olmo-coreは、これまでのOlmoシリーズの開発とともに段階的な進化を遂げてきた。Ai2における疎結合（スパース）モデルの研究は、64個のルーティングエキスパートを備えた「OlmoE」に端を発している。一方で、前世代にあたる「Olmo 3」では、全トークンに対してモデルのほぼ全体が動作する密結合（デンス）アーキテクチャが採用され、訓練スタックもその構造に合わせて構築されていた。Olmo-core 3は、より巨大なMoEモデルを扱うためにフレームワークを大幅に拡張した形となる。

最大の変更点の一つが、並列化アーキテクチャの刷新である。以前のMoE実装では、訓練データの小バッチごとにモデルの重みを集約（gather）して再分割（reshard）するFSDP（Fully Sharded Data Parallelism）が用いられていた。これに対しOlmo-core 3では、DDP（Distributed Data Parallelism：分散データ並列）をベースとするシステムへと移行した。エキスパートを各GPU上に常駐させ、該当するデータ側を各エキスパートへルーティングする方式をとることで、重みデータの反復的な集約処理を回避している。

大規模MoE訓練の代表的な基盤としてはNVIDIAの「Megatron-Core」が広く知られているが、Olmo-core 3はOlmoの開発スタックに完全に統合されたオープンな選択肢を提供する。

3つの分散並列化とルーティング最適化の仕組み

Olmo-core 3では、大規模なMoEモデルをGPUクラスタ全体に効率よく分散させるため、主に3つの並列化技術を組み合わせている。

• エキスパート並列（Expert parallelism）: エキスパート群を複数のGPUに分散配置し、各GPUがエキスパートプール全体の一部のみを保持する。
• パイプライン並列（Pipeline parallelism）: 入力を段階的に変換するモデルの各レイヤーをGPUグループ間に分割し、各GPUがメモリ上に保持すべきモデル容量を削減する。
• 分散オプティマイザ（Distributed optimizer）: 訓練中のパラメータ更新に用いるオプティマイザ状態を全GPUで複製せず、クラスタ全体に分散して保持する。

これらにより、各GPUがモデル全体や膨大な訓練状態を単独で抱え込むことなく、効率的なスケーリングが可能となる。

加えて、データのルーティングと計算処理自体を高速化する最適化も組み込まれている。「行単位エキスパート並列（Rowwise expert parallelism）」により、ルーティングされたデータをエキスパートの入力バッファへ直接配置してデータ再編の負荷を最小化している。また、「GPU常駐ルーティング（GPU-resident routing）」によってルーティングのメタデータをGPU上に保持し、CPUがデータ転送待ちなしで処理キューを投入できるようにした。さらに「グループ化GEMM（Grouped GEMM）」を用いて多数の小規模なエキスパート計算を集約し、GPUの計算性能を最大限に引き出す仕組みを整えている。