NVIDIA、ビデオAIエージェントの企業システム統合を可能にする「NemoClaw」を発表　映像分析から業務アクションの自動実行へ

要点

• 米NVIDIAは、自律型AIエージェントを効率的に構築するための設計図集「NVIDIA NemoClaw」を発表した。
• 映像分析と社内ドキュメント検索（RAG）を組み合わせ、映像の内容に応じた業務プロセスの自動実行が可能になる。
• 人間が処理に介入する「HITL」を活用した要約ツールや、構造化レポート生成ツールなど3つの機能を連携させる。
• 単なる映像監視を超え、チケット自動発行や異常検知時のエスカレーションなど、既存の企業向けシステムとの統合を容易にする。

リード

米NVIDIAは2026年7月16日（現地時間）、自律型AIエージェントを企業環境で効率よく構築するための新たな設計図（ブループリント）集「NVIDIA NemoClaw」を発表した。同社の公式技術ブログで明らかにされた。これにより、社内に蓄積されたドキュメント知識と映像分析AIを連携させ、分析結果に応じた後続の業務アクションをプログラムから自動実行できるようになるという。

本文

映像分析AIの導入における課題

防犯カメラや業務用の映像など、膨大なビデオデータを認識・分析し、合理的な判断や行動を起こせるビデオ分析AIエージェントは、企業の業務効率化において期待されている。しかし、これらを実務で活用するには、コンテンツ管理システムやデータベース、メッセージングツール、さらにはトラブルに対応するチケット管理システムやエスカレーションの経路といった、既存のワークフローやアプリケーションと統合する必要がある。

従来のビデオシステムや企業のナレッジベース、業務運用ツールなどはそれぞれ独立した「サイロ（孤立）」状態にあることが多く、開発者にとってこれらを連携させることは大きな課題となっていた。ユーザーの意図を正確に捉え、組織内の適切なコンテキスト（背景情報）を取り出し、構造化されたレポートを作成した上で、下流の業務システムに引き渡す仕組みが必要とされていた。

NVIDIA NemoClawとBlueprintsによる解決

NVIDIAは、これらの課題を解決するために「NVIDIA NemoClaw」と「NVIDIA Blueprints」を提供する。

NVIDIA NemoClawは、特定の専門領域に特化し、安全かつ高速で、かつコスト効率よく稼働する自律型AIエージェントを構築するためのオープンな設計図集である。一方、NVIDIA Blueprintsは、企業の規模に合わせてエージェント型AIのパイプライン（一連の処理の流れ）を構築・カスタマイズできるリファレンスワークフロー（参照用の業務フロー）を指す。

今回のシステムでは、ストリーミング映像やアーカイブ動画を取り込んでキャプションや視覚メタデータを生成し、セマンティック検索（キーワードの一致だけでなく言葉の意味や文脈を理解して探す検索手法）やイベント要約を行う「Metropolis Blueprint for Video Search and Summarization (VSS)」と、社内のマニュアルやSOP（標準作業手順書）、規則などの文書を高速に検索できるようにする「Retrieval-Augmented Generation (RAG) Blueprint（外部ドキュメントから情報を検索し、AIの回答を補強する技術の設計図）」の2つを、NemoClawを介して一つのサービスとして組み合わせている。

連携動作を実現する3つのエージェントツール

VSSとRAGの連携にあたっては、エージェントに組み込まれた3つのツールが重要な役割を果たす。

まず、長尺ビデオ理解ツールである「LVS（Long video summary）」が、処理の開始前にユーザーから何を検知・追跡すべきかといった意図を対話的に収集する。このプロセスには、AIの処理に人間の判断や確認を介在させる「HITL（Human-in-the-loop）」が必須とされている。ユーザーは、ビデオの内容（シナリオ）、検出したいイベント、追跡対象、オプションとしての知識検索クエリを指定する。

次に、知識検索（frag）ツールが機能する。このツールはRAG Blueprintを呼び出し、企業の社内規定やマニュアル、過去の参照データなどから、その映像に関連する組織固有の背景情報を検索・抽出する。

最後に、レポート生成ツールが機能する。ビデオ分析の結果と、RAGによって取得された社内知識を組み合わせ、タイムスタンプや引用情報、詳細な状況説明を含んだ構造化レポートを生成する。この際も、レポートが最終出力される前にユーザーが内容を確認・編集できるよう、HITLプロセスが導入されている。

映像分析からプログラムアクションへ

これら3つのツールが連携することで、ビデオAIエージェントは単に「映像に何が映っているか」を説明する段階から、「その映像の内容に対して組織として何をすべきか」を判断し、大規模に自動実行する段階へと進化する。

具体的には、映像から異常や変化を検知した際に、自動でサポート用のチケットを発行する、複数のカメラ映像から共通するパターンを比較する、手順書の改訂案を下書きする、あるいは異常時に担当者へエスカレーションする、といった多様な業務プロセスを自動化できる。

NVIDIAは、この手法の応用例として「健康的な食事コーチ（healthy eating coach）」のデモンストレーションを紹介している。これは、ユーザーの食事動画を分析して食習慣を評価し、その結果に基づいて具体的で実行可能な改善プランを提示し、追跡する仕組みである。

補足

NVIDIAは、以前の公開情報において、NVIDIA Blueprintsを用いてビデオ分析に社内文書のナレッジを付加する手法を紹介していた。今回はそれに加え、NemoClawの登場によって、分析後のアクションまでをプログラムによって自律的に実行させるオーケストレーション（統合制御）の仕組みが整った形となる。