NVIDIA、巨大なAIモデルのロードを高速化する「ModelExpress」を発表　起動時間を大幅に短縮

要点

• NVIDIAは、AIモデルの重みデータを効率よく配信・ロードするためのプラットフォーム「ModelExpress」を発表した。

• モデルのロード時に最も高速な転送経路を自動で判別し、稼働中の別サーバーからGPU間で直接データを転送する。

• 既存のコピーがない初回起動時でも、ローカルディスクを経由しない高速なストリーミング転送を行う。

• 「DeepSeek-V4 Pro」の起動実験において、従来の8分から1分44秒へと大幅な時間短縮を達成した。

• 「vLLM」や「SGLang」などの主要なLLM推論フレームワークと統合でき、本番環境のデプロイ負荷を軽減する。

• NVIDIAは2026年7月24日、AIモデルの重み（チェックポイント）の配信とロードを劇的に高速化するプラットフォーム「ModelExpress（MX）」を発表した。AIモデルのデータ規模が数百ギガバイトからテラバイト級へと巨大化するなか、データの移動に伴う時間コストを最小限に抑えることで、モデルのライフサイクル全体を加速させる。

肥大化するAIモデルと重みの「移動コスト」

近年、AIモデルのチェックポイント（モデルの学習状態を保存したデータ）の肥大化に伴い、ネットワーク内でこれらを移動させる時間コストが課題となっている。新規にモデルを読み込む「コールドスタート」、アクセス急増に対応する「オートスケーリング」や「ローリングアップデート」時のレプリカ追加、さらに強化学習（RL）の事後学習における重み更新データの送信など、様々な場面でデータの移動待ち時間が発生し、実質的な稼働開始を遅らせる共通の要因となっていた。

最適な転送経路を自動選択するシステム

NVIDIAの「ModelExpress（以下、MX）」は、ロード前に「互換性のある重みのコピーがすでにどこかにあるか」を確認し、最も高速な転送経路を自動選択する。
稼働中の別サーバー（ピア）のGPUメモリ上に互換データが存在する場合、推論用転送ライブラリ「NIXL (NVIDIA Inference Xfer Library)」を使い、CPUを介さずメモリ間で直接高速通信する「P2P RDMA」によってGPU間を直結する。これにより、クラウドストレージやローカルディスク、ホストメモリへの冗長なアクセスを回避する。

初回起動時はディスクを介さずストリーミング

稼働中のピアが存在しない初回起動時（ブートストラップ）は、ストレージから重みを読み込む。この際、MXはローカルディスクに一度データを保存する手順を踏まない。
モデル転送ツール「Model Streamer」を使い、クラウドストレージ上のテンソル保存形式「safetensors」のデータを、CPUのステージングバッファ経由でGPUメモリへとストリーミングする。Model Streamerはマルチスレッド（並行処理を行う仕組み）のリーダーで分割されたチェックポイントを並行して取得し、データの到着に合わせてGPUへの配置をパイプライン化して進めるため、通信経路を効率よく活用できる。

起動時間を「8分」から「1分44秒」へ短縮

検証において、MXは大規模言語モデル「DeepSeek-V4 Pro」の重みデータと実行時生成プログラム「JITカーネルキャッシュ」のデータを、既存レプリカから新規レプリカへ10秒未満で転送することに成功した。これにより、従来の起動時間である8分を1分44秒まで短縮できたという。

主要なLLMフレームワークとの統合

MXは「vLLM」や「SGLang」、「Dynamo」、「llm-d」といった主要なLLM推論・開発フレームワークと統合されている。また、強化学習時の効率的な重み更新を可能にする受信者駆動型の適用ワークフローに対応するほか、メモリ割り当てを最適化する「VMM（仮想メモリ管理）アリーナ登録」などの工夫も導入し、本番デプロイ時における起動や登録のオーバーヘッドを大幅に削減している。