NVIDIAが「VSS Blueprint 3.3」を発表、視覚AIエージェントの開発期間と実行コストを大幅削減

要点

• 米NVIDIAは、動画の検索や要約を行う視覚AIエージェントを構築するための基盤「Metropolis Blueprint for Video Search and Summarization（VSS）3.3」を発表した。

• 新機能「Build Vision Agent」スキルにより、単一の指示文（プロンプト）から必要なサービス群を自動構成し、監視・分析エージェントを30分未満で構築・配備できる。

• フレーム内の変化がない領域を省く新技術「Adaptive EVS」を搭載し、60分の動画要約におけるAI入力トークン数を80%削減して処理時間を約半減させた。

• 画像認識AIのリアルタイム同時ストリーム処理数を46%向上させ、アラート検知時の遅延も17%短縮している。

• 米NVIDIAは現地時間2026年9月29日、動画の検索や要約を行うシステムを構築するためのリファレンス構成「NVIDIA Metropolis Blueprint for Video Search and Summarization（VSS）」の最新版となるバージョン3.3を発表した。カメラ映像などを解析する「視覚AIエージェント」の開発期間と運用コストの双方を削減する新機能が追加されている。同社の技術ブログにて詳細が公開された。

視覚AIエージェントの構築課題と「VSS 3.3」の機能

視覚AIエージェントは、防犯カメラや工場の監視カメラなどの映像を解析し、特定の事象の検知や報告を行うシステムだ。VSS 3.3は、映像を理解する視覚言語モデル（VLM: 画像や動画の内容をテキストとして理解・処理するAIモデル）である「NVIDIA Cosmos」や、大規模言語モデル（LLM）の「NVIDIA Nemotron」、外部情報を参照して回答精度を高める検索拡張生成（RAG）、AI同士やツールを接続する規格「Model Context Protocol（MCP）」などを統合して動作する。これにより、リアルタイム映像や録画データに対する自然言語での検索、映像に関する質問応答、検知アラートの事実確認、定期レポートの自動作成などを実現する。

従来、都市監視や倉庫管理といった現場で複数の業務フローを連携させるシステムを組む場合、メッセージ配信のKafkaやキャッシュのRedis、検索エンジンのElasticsearchといった基盤インフラの重複や設定の複雑化による「開発コスト」、映像フレームやトークン数の増大に伴うGPU負荷や遅延といった「運用コスト」が大きな課題となっていたという。

単一プロンプトから短時間で構築する「Build Vision Agent」

開発作業を効率化するため、VSS 3.3には「Build Vision Agent（vss-build-vision-ai）」と呼ばれるエージェントスキルが追加された。開発者が単一のプロンプトを入力すると、検証済みの4種類の設定プロファイルをもとに、要求された機能に必要なマイクロサービスのみを選定して追加する。さらに、KafkaやRedis、Elasticsearchなどの共通インフラを単一インスタンスに統合し、無駄なリソース重複を避けて構成する仕組みだ。

ブログ内で紹介されたオレンジジュースのボトリング（瓶詰め）工場のデモでは、液体の溢れ出し検知やアラート検証、勤務シフトごとの報告書作成を行うエージェントが構築された。AIコーディングツールを用いて数ドル程度の利用コストかつ30分未満で構築と配備が完了し、即座にプレビュー可能な状態になったという。このデモ環境では2基の「RTX PRO 6000 Blackwell」GPUが使用され、物体検知器と同じGPUリソースをFP8精度の軽量モデル「Cosmos 3 Nano」と共有・再利用することで、リソース効率を高めている。

「Adaptive EVS」によるトークン削減とリアルタイム処理の効率化

実行時の運用コスト削減に向けては、「Adaptive Efficient Video Sampling（Adaptive EVS）」と呼ばれるサンプリング技術が導入された。これは、動画フレーム内で動きや変化のない領域（パッチ）を動的に間引き、何らかの活動が発生したタイミングに絞ってVLMの処理をまとめて実行する仕組みである。

この技術により、60分間の動画を要約する処理において、VLMに入力されるトークン数が80%削減され、要約にかかる時間も約半分に短縮されたという（実際の効果は映像内の動きの度合いや分割の長さ、類似度のしきい値によって変動する）。

また、「RTX PRO 6000 Blackwell」上で高精度モデル「Cosmos 3 Super（FP8精度）」を動作させた検証では、検知したアラートの文脈を把握・分析する処理の遅延が17%短縮された。さらに、同一のGPU上で同時に処理できるリアルタイムのVLMストリーム数が46%増加したことも報告されている。

公開状況と今後の展開

VSS Blueprint 3.3のリポジトリおよびエージェント向けスキルはGitHub上で公開されており、開発者が利用するコーディングエージェントのスキルディレクトリに組み込んで使用できる状態となっている。なお、NVIDIAは米国太平洋時間2026年10月1日午前9時より、単一プロンプトから視覚AIエージェントを構築するライブ配信セッションを実施する予定だ。