Hugging Face、AWS Trainium向け新バックエンド「TorchNeuron」に対応　主要言語モデルの89％が標準動作可能に

要点

• Hugging Faceは、AWSのAI専用チップ「Trainium」に対応するPyTorchの新バックエンド「TorchNeuron」のサポートを発表した。

• 2026年10月20日よりパブリックベータ版が公開され、pip install torch-neuronx で導入可能となる。

• 従来のPyTorch XLA依存から脱却し、即時実行モードや torch.compile、ネイティブ分散処理APIに対応した。

• TransformersやDiffusersなどの主要ライブラリからTrainiumを直接利用可能となり、専用ライブラリ経由での利用が不要になった。

• 最も利用される上位100のテキスト生成モデルアーキテクチャのうち、標準対応率が従来の46%から89%へと大幅に拡大した。

• AIプラットフォームを提供するHugging Faceは2026年10月19日、AWSの機械学習向け独自チップ「AWS Trainium」に対応したPyTorchの新バックエンド「TorchNeuron」のサポートを発表した。TorchNeuronは2026年10月20日よりパブリックベータとして提供される。これにより開発者は、従来の専用ラッパーを介さず、標準的なPyTorchコードとHugging Faceの主要ライブラリを用いてTrainium上で直接モデルを実行可能になる。

新バックエンド「TorchNeuron」の概要

TorchNeuronは、AWSの機械学習チップ「Trainium」にネイティブな実行基盤をもたらすPyTorchプラグインだ。2026年10月20日より torch-neuronx パッケージとしてパブリックベータ版が提供される。

最大の特徴は、コードを即座に実行するeagerモード（即時実行モード）や、処理を高速化する torch.compile がTrainium上で動作可能になった点だ。また、複数チップに処理を分散する「テンソル並列（TP）」や、パラメータを分散保持する「FSDP（Fully Sharded Data Parallel）」といったPyTorch標準の分散処理APIも直接サポートされると説明されている。

従来の「Optimum Neuron」が抱えていた技術的課題

これまでTrainiumやInferentia上でHugging Faceのモデルを動かすには、専用ライブラリ「Optimum Neuron」を用いるのが一般的だった。この仕組みはPyTorch XLA基盤に依存しており、事前に処理全体をコンパイルする設計思想に縛られていたという。

具体的には、遅延評価を行うレイジーテンソルや静的シェイプ（固定データ形状）が前提となり、計算グラフが途切れるたびに再コンパイルが発生していた。Optimum Neuronはこうした複雑さを覆い隠すため、専用のモデリングクラスやトレーナーを独自に保守する必要があったと振り返っている。

ネイティブ統合によるライブラリ連携の刷新

TorchNeuronはPyTorch内部に直接統合されており、システム上ではTrainiumが neuron という標準デバイスとして認識される。

DTensorやFSDP2などの分散プリミティブに対応したことで、Trainiumは一般的なアクセラレータと同様に扱えるようになった。「Transformers」をはじめ、「Diffusers」「Accelerate」「PEFT」「TRL」といった主要ライブラリが、標準的なクラスやスクリプトのままTrainium上で直接動作する。これを受けHugging Faceは、従来のOptimum Neuron経由から、主要ライブラリを直接利用する手法への移行を推奨している。

テキスト生成モデルの対応拡大と実装仕様

Transformersライブラリにおける推論（テキスト生成）機能では、利用頻度の高い上位100モデルアーキテクチャのうち、標準対応率が89%に達した。従来のOptimum Neuron（バージョン0.4.5）における対応率46%からほぼ倍増した形だ。コード上も device_map="neuron" を指定するだけで自動配置される。

公開された実装例では、270億パラメータ規模の言語モデル「Qwen/Qwen3.8-27B」を用い、テンソル並列によるテキスト生成手順が示されている。バックエンドに neuron を指定してプロセスグループを初期化し、デバイスメッシュを構成する。なお、頻繁な再コンパイルを防ぐため静的キャッシュ（static cache）の利用が強く推奨されており、設定クラスの GenerationConfig でキャッシュ長などを固定した上でコンパイル設定を適用する構成が紹介されている。

補足：AWS TrainiumおよびInferentiaの位置づけ

AWS TrainiumおよびInferentiaは、AWSが独自に開発する機械学習特化型チップである。Trainiumは大規模モデルの学習、Inferentiaは推論を担い、それぞれ高いコストパフォーマンスでの運用を目的に設計されている。