NVIDIA、連合学習基盤「NVIDIA FLARE」によるマルチモーダルAIの効率的な分散学習手法を公開

要点

• 米NVIDIAは、オープンソースの連合学習フレームワーク「NVIDIA FLARE」を活用したマルチモーダルAIおよび視覚言語モデル（VLM）の効率的な分散学習手法を技術ブログで解説した。

• データを一元集約できない環境において、モデル全体ではなく軽量なLoRAアダプタのみを通信する手法「FedUMM」により、1ラウンドあたりのクライアント通信量を28.6GBから0.094GBへと約300分の1に削減できることを示した。

• 大規模モデルの更新に伴う負荷を軽減するため、テンソルストリーミングやディスクを活用した集約処理、オブジェクト外部化といった最適化機構をNVIDIA FLARE上で提供している。

• ウィリアム・アンド・メアリー大学とNVIDIAの共同研究成果であるFedUMMは、国際会議「TheWebConf 2026」併設のワークショップにおいて優秀学生論文賞を受賞した。

• 米NVIDIAは2026年8月19日、同社の公式技術ブログにおいて、オープンソースの連合学習フレームワーク「NVIDIA FLARE」を用いたマルチモーダルAIの分散学習手法に関する解説記事を公開した。プライバシー保護や機密保持の観点からデータを1か所に集約できない組織間において、画像とテキストを複合的に扱う視覚言語モデル（VLM）を効率的に共同学習させるための設計指針と最適化技術が示されている。

マルチモーダルAIにおける連合学習の難しさと課題

連合学習（Federated Learning）とは、各拠点のローカルデータを外部に送信することなく手元に保持したままモデルを学習させ、更新情報のみをサーバーに集約・統合する分散機械学習の手法である。質問応答やキャプション生成、画像とテキストを組み合わせた高度な推論を行う視覚言語モデル（VLM）の適応において、医療機関や企業のように生データを中央サーバーに統合できないケースで有効な手段となる。

しかし、マルチモーダルモデルを連合学習で扱う場合には特有の技術的課題が生じる。通常の中央集約型学習であれば、画像、キャプション、質問応答データなどを単一の学習パイプラインにまとめて投入できる。一方で連合学習の環境では、参加する拠点ごとに保有するデータの種類やモダリティの組み合わせ、タスクが異なる。そのため、各拠点のクライアントが何を更新し、サーバーがそれらをどのように統合するかという契約を明確に定義する必要がある。

さらに、近年のVLMはモデル規模が非常に大きく、モデル全体のパラメータ更新をシリアライズしてネットワーク転送し、サーバーのメモリ上に保持して集約する処理は、通信帯域やサーバーリソースを激しく圧迫するという問題がある。

軽量アダプタの活用と通信量を大幅削減した「FedUMM」

こうした課題に対し、記事では「ネットワークを介して何を通信すべきか」という設計上の判断が重要になると指摘している。手法としては、モデルの重みそのものではなく蒸留された知識を交換するアプローチ（先行研究のCreamFLなど）と、事前学習済みの基幹モデル（バックボーン）を固定して軽量な学習可能コンポーネントのみを集約するアプローチ（FedCLIP、FedPIA、FedUMMなど）が存在する。

後者の代表例として紹介されているのが、ウィリアム・アンド・メアリー大学（William & Mary）とNVIDIAの共同研究によって開発された統一マルチモーダルモデル（UMM）向けの連合学習手法「FedUMM」である。FedUMMでは、マルチモーダル基盤モデル「BLIP」のバックボーンを固定した上で、追加された軽量なLoRA（Low-Rank Adaptation：少数の追加パラメータのみを更新する効率化手法）アダプタのみをクライアントとサーバー間でやり取りする。

実験結果によると、FedUMMはこのアダプタ通信方式を採用することで、1ラウンドあたりのクライアント通信量を従来の28.6GBから0.094GBへと劇的に削減することに成功した。通信負荷を大幅に抑制しながらも、すべてのデータを集約して学習した中央集権型のベースラインに近いモデル性能を維持できることが実証されたという。なお、このFedUMMに関する研究はNVIDIA Academic Grant Programの支援を受けており、国際会議「TheWebConf 2026」のワークショップ「FL@FM」において「Outstanding Student Paper Award（優秀学生論文賞）」を受賞している。

大規模モデルの転送・集約を支えるNVIDIA FLAREの機能群

NVIDIA FLAREは、Pythonベースの拡張性に優れたオープンソースSDKであり、パラメータ効率的なアダプタの通信と、フルモデルパラメータの通信の双方をサポートしている。巨大な更新データを扱う際にネットワークやメモリの制約を克服するため、フレームワーク内部に複数の最適化機構が組み込まれている。

主な仕組みとして、巨大なオブジェクトを効率的に扱う「ラージオブジェクト外部化（large-object externalization）」や、通信を分割・連続処理する「テンソルストリーミング（tensor streaming）」、さらにサーバーメモリの枯渇を防ぐためディスクを活用して重みを統合する「ディスクベース集約（disk-backed aggregation / disk offload）」が挙げられている。

NVIDIA FLAREのジョブ構成は、グローバルなラウンド調整を担うサーバー側と、各拠点でのローカル実行を担うクライアント側が明確に分離されている。これにより、拠点ごとに異なるモダリティやデータ構成を持つ複雑なマルチモーダル環境であっても、安全かつスケーラブルに分散学習を遂行できるよう設計されている。開発者向けには、Recipe APIやTensor Downloader、ディスクオフロードモジュールなどの実装コンポーネントが用意されており、大規模な実環境への導入を支援するとしている。