NVIDIA、手術映像から仮想手術環境をリアルタイム生成する世界モデル「Cosmos3-H-Dreams」を発表

要点

• NVIDIAが、手術ロボットの操作に連動して手術映像をリアルタイム生成する世界基盤モデル「Cosmos3-H-Dreams」を発表した。

• 実際の胆嚢摘出術の記録データから訓練されており、術者のキネマティクス操作に追従して組織や器具の動的な変化を描写する。

• 160億パラメータの基盤モデルを採用し、2本のアームやコントローラー情報を含む28次元のアクション入力に対応している。

• 独自の蒸留技術と高速推論ライブラリ「FlashDreams」により、単一のRTX PRO 6000 GPU上での対話的なリアルタイム生成を実現した。

• 従来の物理演算に基づくシミュレーターとは異なり、同期された映像と動作データから直接視覚力学を学習している。

• 米NVIDIAの研究チームは2026年10月20日、手術支援ロボットの操作にリアルタイムで応答する生成型手術シミュレーター「Cosmos3-H-Dreams」を発表した。Hugging Faceの公式ブログ等で公開された同モデルは、実際の臨床で行われた腹腔鏡下での胆嚢（たんのう）摘出術の映像と運動学データを学習させた世界基盤モデルである。物理演算による従来の手法とは異なり、術者の操作入力に合わせて体内の組織変形や器具の挙動を映像として直接生成する。

卓上検証から実際の臨床手術シーンへ

前身となった「Cosmos-H-Dreams」は、生成モデル「Cosmos-Predict2.5」を基盤とし、研究用手術ロボットを用いた卓上での縫合タスクを対象としていた。従来の外科シミュレーターが生体組織の3D形状や物理特性を明示的な数式で計算していたのに対し、同モデルは同期された映像とロボットのキネマティクス（位置や姿勢などの運動情報）から視覚力学を直接学習する「世界基盤モデル（WFM: 環境の動的な変化を予測するAI）」としてアプローチし、卓上タスクのシミュレーションを実現していた。

今回発表されたCosmos3-H-Dreamsは、その技術を実際の臨床手術へと発展させたモデルだ。英国CMR Surgical社の手術支援ロボットプラットフォーム「Versius」で記録された胆嚢摘出術（胆嚢を切り離して取り出す手術）のビデオと運動データを学習に使用している。NVIDIAによると、実際の臨床における胆嚢摘出術の記録をもとに訓練され、リアルタイムのキネマティクス制御を可能にした生成型手術シミュレーターはこれが初になるという。

体内環境特有の視覚力学と制御への追従

背景が平坦な卓上環境とは異なり、人体内部では器具のわずかな動きが視野全体に影響を及ぼす。組織の牽引による変形、照明の反射の変化、臓器による遮蔽（オクルージョン）、電気メスから発生する煙など、多様な動的変化が発生するためだ。

生成シミュレーターには、初期画像と操作コマンドをもとに解剖学的構造を崩さず映像を生成し続ける能力が求められる。生成の長期化に伴い誤差が蓄積すると器具や組織の形状が崩れてしまうため、時間的一貫性の維持が不可欠となる。また、単にリアルな映像を生成するだけでなく、器具の移動や回転、開閉といった操作コマンドに対して、解剖学的にも矛盾なく連動する必要がある。対話型の制御ループでこれらを成立させるため、極めて低遅延な映像生成が求められると説明している。

160億パラメータモデルと28次元の操作空間

Cosmos3-H-Dreamsは、ロボット行動データセット「Open-H-Embodiment」で事前学習された160億パラメータのモデル「Cosmos3-H-Embodied-Nano」をベースモデルに採用している。この基盤モデルを土台に、厳選された胆嚢摘出術の映像と運動データを用いて双方向教師モデルの特化学習が行われた。

学習データには解像度832×480ピクセルの映像と、10Hzで同期されたアクション情報が用いられた。器具主導の相互作用を集中的に学習させるため、カメラの移動コマンドは制限され、画面上に映る2つの器具――左手のキャディエール把握鉗子（Cadiere grasper）と右手の電気メスフック（monopolar hook）――による動作シーンが対象とされた。操作入力には28次元のアクション空間が定義されており、左右両アームの位置姿勢やグリッパー情報のほか、電気メスのエネルギー制御、サムスティック（アナログスティック）の軸情報やボタン入力までが含まれている。

モデル蒸留と「FlashDreams」による高速化

長時間の自己回帰的な映像生成を安定させるため、独自の教師生徒学習パイプラインが導入された。まず双方向教師モデルに対し、将来の24フレーム（10Hz換算で2.4秒間）、続いて72フレーム（同7.2秒間）へと予測期間を拡大して適応させ、手術における長期的な力学変化を捉えさせた。

続いて知識蒸留（大規模モデルの知識を軽量モデルへ移行する技術）により、双方向教師から因果的（過去から現在への時間軸のみを参照する）な生徒モデルを作成した。これにより、わずか4ステップまたは2ステップという短い推論ステップで逐次生成できる生徒モデルを構築している。推論処理の加速には、NVIDIAのストリーミング推論ライブラリ「FlashDreams」が導入された。これらの工夫により、単一の「NVIDIA RTX PRO 6000」GPU環境において、術者の操作にインタラクティブに応答するリアルタイムシミュレーションを実現している。