Hugging Face、AIモデルのAWS Trainium動作状況を確認できるデータベースを公開

要点

• Hugging Faceは、Hub上の主要なAIモデルがAWSの機械学習チップ「Trainium」で動作するかを照会できるWebツールを公開した。

• 各モデルの動作判定に加え、所要コア数やメモリ消費量、手元で動かすためのスクリプトや事前コンパイル済みキャッシュが提供される。

• 検証は「Trainium2」環境で32トークンを生成して客観的に判定されており、詳細な結果は公開データセットとしても提供されている。

• 機械学習プラットフォーム大手のHugging Faceは2026年10月23日、AWSの機械学習アクセラレーター「AWS Trainium」（機械学習処理に特化したAWS独自のカスタムチップ）におけるオープンモデルの動作状況を照会できるWebツール「torch-neuronx model support」を公開したと発表した。同社が以前導入した専用バックエンド「TorchNeuron」により、理論上はHub上の多様なモデルがTrainiumで稼働可能となっているが、実際にどのモデルが問題なく動くのかを開発者が迅速に確認できるようにしたという。動作結果の提示にとどまらず、手元の環境で実行するためのスクリプトやコンパイル済みキャッシュの取得コマンドもあわせて提供されている。

モデルごとの動作判定や消費リソースを即座に検索可能

公開されたツールは、機械学習アプリケーションを共有できるHugging FaceのWebプラットフォーム「Spaces」上で稼働している。初期画面の「Selected」ビューには、ダウンロード数やトレンド指標に基づいて選定された主要モデルが並ぶ。一覧にはテストの合否結果だけでなく、モデルが何基のTrainiumコアに分割（シャーディング）配置されたか、コンパイル時間を含む実行実時間、デバイスメモリの最大消費量（ピークメモリ）といった実測データが記載されている。

特定のモデルを調べたい場合は「Trending」または「Downloads」のビューに切り替え、モデル名の一部を入力して検索できる。これらのビューはタスクごとのランキングに沿っており、未テストのモデルも表示される。意図的にテスト対象から外されているモデルについては、優先順位が低かったためか、あるいは技術的な非互換性によるものかといった理由が個別に明記されているという。また、Neuronコンパイラ「neuronx-cc」やライブラリ「Transformers」のバージョンを指定して絞り込む機能も備える。

なお、執筆時点で検証されているのはTransformersライブラリのモデルのみで、タスクもテキスト生成（text-generation）および画像とテキストを組み合わせたマルチモーダル生成（image-text-to-text）に限定されている。同社は今後、画像生成の「Diffusers」や埋め込み表現を扱う「Sentence Transformers」、その他のタスクへも検証対象を拡大していく予定だとしている。

実行コードの提示と事前キャッシュによるコンパイル高速化

ツール上でモデルを選択すると、検証に用いられた環境構成とともに、利用者が自身の環境でそのまま動かせるPythonスクリプト「run.py」が表示される。このスクリプトは、通常の関数「from_pretrained」でモデルを読み込み、推論時のメモリ割り当てを固定化する静的キャッシュ（Static Cache）と、Neuronバックエンドを指定した「torch.compile」を組み合わせてテキスト生成を行う構造となっている。

利用者は、公式コンテナなどで環境が整えられた「Trainium2（trn2）」インスタンスを用意し、指定パッケージを導入すれば「python3 run.py」を実行するだけで動作を確認できる。モデルが複数コアに分割されている場合でも、スクリプト自身が必要な分散プロセス（torch.distributed）を起動するため、マルチプロセス実行ツールである「torchrun」などを個別に呼び出す必要はないと説明されている。

また、Trainiumでの初回実行時にはモデルの計算グラフをコンパイルする処理が発生するが、ツールではこの待機時間を短縮する仕組みも用意された。テスト実行時に同一コンパイラがビルドしたグラフが公開ストレージ「NEFF cache」に保存されており、提示されたコマンドを用いてローカル環境に同期（sync）することで、長時間のコンパイル処理を省いて即座に推論を実行できる。

32トークン生成による客観的な検証と利用上の制限

ツールにおける「動作する（runs）」の定義について、Hugging Faceは検証の具体的な仕様を公表している。テストはすべてAWSの「trn2」インスタンス上で実施され、各モデルの重みを保持できる最小限のコア数へと自動的に分割される。大半のモデルでは行列演算を複数コアに分散する「テンソル並列」が適用されるが、テンソル並列の対応計画がないMixture-of-Experts（MoE）モデルについては、専門家ネットワーク単位で分散する「エキスパート並列」のみが用いられるという。

動作の検証は、各モデルに32トークンを生成させてその出力を確認する方式が採られている。単一コアで動作するモデルの場合は、CPU環境で同一モデルを実行した際の出力トークンと直接比較して整合性を確認する。複数コアに分割されたモデルについては、生成されたテキストが自然な英語になっているかを小型の判定用モデル（ジャッジモデル）で自動評価している。

ただし、今回の検証結果にはいくつかの制限事項が存在する。現段階でテストされているのは、最大4台のTrainium2デバイス（最大16コア）に収まる規模のモデルに限られている。また、テスト結果が合格（PASS）であっても、それは32トークンの生成が正常に行われたことのみを示しており、処理スループットの性能や、より長大なテキストを生成した際の動作を保証するものではないと付記されている。

検証結果はParquet形式のオープンデータセットとして提供

ツール上に表示されるすべての情報は、Hugging Face上で「aws-neuron/torch-neuronx-model-support」というデータセットとして一般公開されている。データはNeuronコンパイラと関連ライブラリのバージョン組み合わせごとに分類され、列指向のファイル形式であるParquet形式で格納されている。

各行には判定結果や失敗時のエラー詳細、ソフトウェアスタック全体のバージョン、実行されたスクリプトの内容などが網羅されている。利用者はPandasなどのデータ分析ライブラリからデータセットを直接読み込み、特定モデルの検証結果をコードから照会することも可能となっている。判定結果の厳密な定義については、データセットに付属する解説文書（データセットカード）に記載されているという。