Pathway、脳着想の新アーキテクチャ「BDH」を発表——テキスト生成を介さない推論とSageMaker HyperPodでの学習基盤を公開

要点

• AI開発企業のPathwayが、脳の神経回路に着想を得た新アーキテクチャ「BDH（Dragon Hatchling）」を開発した。

• 中間的なテキスト推論ログを生成せず、潜在空間内で直接思考・推論を行うことで、従来のTransformerが抱える計算効率の課題に対処する。

• 派生モデルの「BDH-CQ」は、ファインチューニングや再学習を行わずに推論時の再帰的な潜在計算を通じて内部メモリを更新できる。

• モデルの学習基盤にはAWSの「Amazon SageMaker HyperPod」を採用し、PyTorchなどの主要フレームワークと連携して効率的なスケールアウトとリソース共有を実現している。

• AI開発を手がけるPathwayは、脳の神経回路に着想を得た新たなモデルアーキテクチャ「BDH（Dragon Hatchling）」を開発し、その学習基盤として「Amazon SageMaker HyperPod」を活用していることを明らかにした。従来のTransformerモデルが用いてきたテキストによる推論過程（Chain-of-thought：中間的な思考ログを段階的にテキスト化する手法）を逐次生成する方式とは異なり、潜在空間内部で推論と問題解決を完結させるアプローチを採用している。これにより、現代の大規模言語モデル（LLM）が直面している計算コストの肥大化やコンテキスト長の制限、記憶の忘却といった構造的課題の克服を図っているという。

従来のTransformerが抱える学習・推論時の構造的限界

自然言語処理分野で広く普及しているTransformerアーキテクチャだが、約10年にわたり基本的な設計が変わっておらず、学習と推論の双方で大きな非効率性を抱えていると指摘されている。

学習段階においては、学習データを超えた体系的な一般化が難しく、特に長い論理的推論を要するタスクでは膨大なデータと計算資源でそれを補う必要がある。また、密な計算パターンと完全な逆伝播（Back-propagation）を要する構造上、モデル規模の拡大に伴い計算コストが指数関数的に増大する。さらに、微視的なニューロンの活性化と巨視的な出力結果の因果関係が不明瞭であるほか、新しい知識を学ぶ際に過去の知識を失う「破滅的忘却（Catastrophic forgetting：新たな学習によって過去の記憶が失われる現象）」が起きやすく、再学習やファインチューニングなしに知識を更新することが困難である点も課題とされてきた。

推論段階においても、アテンション機構の構造によって拡張性が制限される。Mixture of Experts（MoE：タスクに応じて専門ネットワークを切り替える手法）を取り入れた場合でも依然として活性化パターンが密であり、計算量やメモリ帯域幅を過剰に消費する。加えて、固定されたコンテキストウィンドウやトークン長に伴い肥大化するKVキャッシュ（過去の計算結果を保持する推論用キャッシュ）の存在が処理長を制限しているほか、内部状態の解釈や監視が極めて困難である点も挙げられている。

潜在空間で思考を完結させる「BDH」のメカニズム

こうしたTransformerの限界に対処するために開発されたのが「BDH」である。BDHは、ニューロンが疎（スパース）かつ局所的な相互作用を通じて通信し、シナプスのような結合部で状態を維持する神経グラフ構造として設計されている。

最大の特徴は、推論のプロセスを潜在空間（Latent space：データの特徴が数値ベクトルとして表現される内部空間）内で行う点にある。従来のモデルのように中間的な推論過程をテキストトークンとして逐次書き出し、それを再入力して次の計算を行うという手法をとらない。テキストの痕跡を介さず、潜在空間の中で例から学習し、解を段階的に洗練させていく仕組みとなっている。

また、テスト時にモデルの重み更新を行うことなく、コンテキスト内部でモデル状態を適応させることができる。これにより、固定されたコンテキストウィンドウのサイズ制限や、非効率な思考ログトークンの大量生成に縛られることなく推論を進めることが可能になるとしている。

再学習なしで内部メモリを更新する「BDH-CQ」

LLMは長時間の対話で記憶を失いやすく、セッション間で知識を保持できないため、新たな知識の獲得には再学習が必要とされてきた。これに対し、BDHの発展形である「BDH-CQ」は、推論プロセス中にモデル内部のメモリを動的に更新する機能を備えている。

BDH-CQでは、再帰的な潜在状態（Recurrent latent state）の内部で反復的な計算処理を実行し、最終的な回答の候補のみをデコードして出力する。これにより、冗長なテキスト思考ログを生成することなく、また追加のファインチューニングや再学習を施すこともなく、モデルが新しい問題に適応して処理を完了できると説明している。

Amazon SageMaker HyperPodによる大規模学習の展開

PathwayのBDHは、PyTorchをはじめとする既存の主要機械学習フレームワークと統合して利用できるよう設計されている。また、大規模なモデル学習を支えるインフラとして、AWSの分散学習基盤「Amazon SageMaker HyperPod」が採用された。

SageMaker HyperPodの導入により、同社の応用AI研究チームは、高い耐障害性（レジリエンス）と拡張性を備えた費用対効果の高い環境で計算リソースを共有・運用し、学習のスケールアウトを円滑に進めているとしている。