Hugging FaceとSkyPilotが共同発表、クラウド間データ転送手数料ゼロでAIを実行可能にする「Hugging Face Storage」連携

要点

• Hugging FaceとSkyPilotが共同で、マルチクラウド環境でのAIワークロード実行とHugging Face Hubの統合を発表した。
• Hugging Faceはデータ転送手数料（イグレス料金）を請求しないため、異なるクラウド間でデータを読み込んでも追加コストが発生しない。
• 新機能のstore: hfを利用し、hf:// URLと既存のアクセストークンだけで、モデルやデータセットを任意のクラウド環境へ直接マウントできる。
• ストレージは重複排除機能を提供するXet技術をベースにしており、データの変更されたチャンクのみを転送する仕組みである。

リード

AI（人工知能）の共有プラットフォームを運営するHugging Face（ハギングフェイス）と、マルチクラウドでのAI実行を支援するオープンソースツールであるSkyPilot（スカイパイロット）プロジェクトは2026年7月7日、AIワークロードを任意のクラウドで実行しつつ、データをHugging Face上に保管できるデータ転送手数料無料のストレージ連携機能を発表した。本機能により、モデルやデータセットをHugging Face上に配置したまま、開発や訓練、推論の処理をGPU（AIの計算処理を高速化する半導体プロセッサ）がある別のクラウド上で追加の手数料なしで実行できるようになる。

本文

クラウドをまたぐデータ転送手数料の課題を解決

AI開発に取り組む多くのチームにおいて、モデルやデータセットは特定のクラウドサービスの特定リージョンに置かれたストレージに保存されている。しかし、開発や訓練、推論サービング（実行）に必要なGPUは、必ずしもデータと同じクラウド上で確保できるとは限らず、他のクラウド上のGPUを利用せざるを得ない状況が増えている。

これまでは、データが存在する場所とGPUが存在するクラウドが異なっている場合、データをGPU側に読み込むだけで、クラウド間のデータ転送手数料であるイグレス料金が発生していた。このクロスクラウドの転送手数料は、AI開発における大きなコスト要因となっていた。

今回の連携により、モデルやデータセットはHugging Face Hubに置いたまま、SkyPilotがその時点でGPUに空きがある任意のクラウドのクラスタを選択して処理を実行させることが可能になった。Hugging Faceはストレージからのデータ転送に対するイグレス料金やCDN（コンテンツ配信ネットワーク）使用料を請求しないため、どのクラウドで実行してもデータの読み込みコストは発生しない。

新機能「store: hf」によるマウント設定

SkyPilotではこれまでも、S3やGCS、Azure Blob、R2などのクラウドオブジェクトストレージをローカルのパスにマウントして読み書きする機能を提供してきた。今回、これに加えてHugging Face Storageが「store: hf」として正式なバックエンドに追加され、hf:// スキームを介してアクセスできるようになった。

開発者は、SkyPilotのタスク定義ファイルに数行を記述するだけで、Hugging Faceの各種リソースをジョブにマウントできる。たとえば、モデルのリポジトリ（hf://Qwen/Qwen3.5-4B）やデータセットのリポジトリ（hf://datasets/my-org/my-dataset@main）、さらにはSpace（デモ等を公開できるHugging Faceの実行環境）のリポジトリを読み取り専用でマウントしたり、チェックポイントやログを保存するための読み書き可能な専用バケット（hf://buckets/my-org/qwen-sft）をマウントしたりできる。

これにより、モデルやデータセットを読み込み、学習中のチェックポイントをバケットに書き出し、最終的なモデルをパブリッシュして、推論サーバーへデプロイするまでのライフサイクル全体をひとつのhf:// スキームでカバーできる。すでにHugging Face Hub上にデータを保持している開発チームであれば、データの移行作業や新しいストレージアカウントの作成を行う必要もない。

FUSEを活用した効率的なデータ取得とキャッシュ

このマウント機能は、Hugging Faceが開発するFUSE（ユーザー空間で独自のファイルシステムを構築できる仕組み）バックエンドである「hf-mount」を利用して実現されている。

MOUNTモードを使用すると、バケットやリポジトリはローカルのファイルパスとして表示される。データの取得はファイルシステムレイヤーで必要に応じて行われ、コードがread()処理を呼び出した際に、必要なバイトデータのみが取得される。これにより、実際にプログラムがアクセスしたデータだけがネットワークを流れるため、無駄な転送が発生しない。さらに、hf-mountはディスク上にキャッシュを保持するため、2回目以降の読み込みはローカルで行われ高速に処理される。

SkyPilotの他のストレージバックエンドでは、キャッシュを利用する「MOUNT_CACHED」と、キャッシュを利用せず都度ストリーミングを行う通常の「MOUNT」が区別されているが、hfストアにおいてはどちらを指定してもキャッシュが有効になる。

また、データの読み込みが遅延処理（レイジーロード）されるため、大容量ファイル全体のダウンロード完了を待つことなく処理を開始できる。これにより、GPUを即座に稼働させてストリーミングでデータを読み込みながら訓練を開始できるため、ファイルのコピー待ちでGPUがアイドル状態になる時間を極めて短く抑えることができる。

Xetによる重複排除と、非特権コンテナへの対応

Hugging Faceのストレージバケットは、データの重複排除や効率的なバージョン管理を実現するHugging Faceのストレージ技術「Xet」をベースに構築されている。これにより、学習中に保存されるインクリメンタルなチェックポイント（一時的な学習結果）や、モデルのバリエーションを保存・転送する際、変更が発生した部分（チャンク）のみを保存および転送するため、ストレージ使用量とネットワーク転送量を最小限に抑えられる。

さらに、今回の機能はHugging FaceとSkyPilotが共同で開発したものであり、Hugging Faceチームはhf-mountの修正を本家に反映（アップストリーム）した。この修正により、管理者権限を持たない「非特権コンテナ」のようなセキュリティ制限の厳しい環境下でも、FUSEによるマウントが問題なく動作するようになっている。

SkyPilotは、AWSやGoogle Cloudなどの主要クラウドに加え、CoreWeaveやNebiusなどのAI特化型クラウド、さらにはKubernetesやSlurm、オンプレミス環境など、20以上のインフラから利用可能なGPUを探索してジョブを実行できる。このSkyPilotのマルチクラウド実行能力と、Hugging Faceのデータ転送手数料無料のストレージが組み合わさることで、コストやインフラの制約に縛られない柔軟なAI開発環境が実現する。