Pathway、脳着想の新アーキテクチャ「BDH」を発表——潜在空間での推論によりトランスフォーマーの限界克服を目指す
要点
- AI企業のPathwayが、脳の神経構造に着想を得た新アーキテクチャ「BDH（Dragon Hatchling）」を開発した。
- 中間テキストを順次生成するのではなく、潜在空間内で反復計算を行うことで直接推論を実行する。
- 再学習やテスト時の重み更新を伴わずに、推論中に内部メモリを更新しコンテキストへ適応できる。
- 従来のトランスフォーマーが抱える固定コンテキスト長、KVキャッシュの肥大化、破滅的忘却などの構造的課題の解消を図る。
- モデルの大規模な学習基盤としてPyTorchと「Amazon SageMaker HyperPod」を採用している。
AI企業のPathwayは2026年9月8日、脳のメカニズムに着想を得た新しいモデルアーキテクチャ「BDH（Dragon Hatchling）」を開発したことを発表した。従来のトランスフォーマーアーキテクチャが直面している学習や推論における構造的非効率性を打破することを目的とした設計となっている。同社は開発にあたり、大規模な学習基盤としてAWSの「Amazon SageMaker HyperPod」を活用していることを明らかにした。
潜在空間内で思考を完結させる脳型アプローチ
現在のAIシステムでは、モデルの規模拡大や学習データの増強、コンテキスト長の拡張、そして推論時の計算量増加によって高度なタスクへの対応が進められてきた。多くのモデルでは、推論ステップを言葉として順次出力するChain-of-Thought（思考の連鎖：中間的なテキストトークンを生成して次の入力へと戻す手法）が用いられている。
これに対し、Pathwayが開発したBDHは、推論処理をテキストとして外部に出力するのではなく「潜在空間（データを特徴量として表現する多次元の内部空間）」の中で実行する点が大きく異なる。中間のテキストトレースを生成することなく、例示から学習して解を洗練させていく仕組みだという。
BDHは、局所的かつ疎（スパース）な相互作用を通じて通信し、シナプスのような接続構造の中に状態を保持する神経細胞（ニューロン）のグラフとして定式化されている。この設計により、テスト時にモデルの重みを更新することなくコンテキスト内で状態を適応させることが可能となった。これにより、固定サイズのコンテキストウィンドウや大量のChain-of-Thoughtトークンの生成による制約を受けずに推論を進められるとしている。
既存トランスフォーマーが抱える学習・推論の根本的課題
発表では、自然言語処理分野で広く採用されてきたトランスフォーマーアーキテクチャが、過去約10年間にわたり基本的に静的な構造のまま運用されており、複数の限界に直面している点が指摘されている。
学習面においては、訓練データの範囲を超えた体系的な汎化（特に長大な推論タスク）が難しく、それを補うために膨大なデータと計算リソースが必要とされている。トランスフォーマー特有の密な計算パターンと全層にわたる誤差逆伝播（バックプロパゲーション）は、モデルサイズの拡大に伴って計算コストを急激に増大させる。さらに、ミクロな神経活動（ニューロンの活性化）とマクロな出力挙動の結びつきが不明瞭であるほか、新たな知識を学習する際に既存の知識を失ってしまう「破滅的忘却」が起きやすく、再学習やファインチューニングなしに知識を効率的に更新することが極めて困難だった。
推論面においても非効率性が顕著となっている。アテンション（注意機構）の構造自体がスケーラビリティを制約しているほか、Mixture of Experts（複数の専門サブネットワークを切り替える手法）を導入した場合でも、活性化パターンが密であるため計算量やメモリ帯域を過剰に消費してしまう。また、固定されたコンテキストウィンドウと、処理が進むにつれて肥大化するKVキャッシュ（過去の計算結果を保持するキャッシュ領域）がシーケンス長の上限を規定している。トランスフォーマーの内部状態はブラックボックス化しており、推論状態の解釈や監視が困難である点も課題として挙げられている。
推論中に内部メモリを更新する「BDH-CQ」
これらの課題に対し、Pathwayが開発した「BDH-CQ」は、再帰的な潜在状態（recurrent latent state）の内部で反復計算を実施し、最終的な回答候補のみをデコード（テキスト化）するアプローチを採用した。
この仕組みにより、モデルは長大な言語化推論トレースを出力し続けることなく、また追加のファインチューニングや再学習を施すこともなく、推論実行中に内部メモリを更新しながら未知の問題を処理できる。従来のLLMが抱えていた「長時間の対話で記憶を失う」「セッション間で知識を保持できない」といった問題に対処し、長期間にわたり一貫した推論を維持することを目指している。
Amazon SageMaker HyperPodによる学習のスケールアウト
BDHはPyTorchなどの標準的な機械学習フレームワークと統合されており、モデル学習の大規模なスケールアウトにはAWSの「Amazon SageMaker HyperPod」が活用されている。
SageMaker HyperPodを導入したことで、Pathwayの応用AI科学者チームは、耐障害性と拡張性を備えた環境下で計算リソースをコスト効率よく共有・運用しながら、脳型アーキテクチャの開発と訓練を進めていると説明している。