NVIDIA、軽量エージェント特化型モデル「Nemotron 3.5 Lightning」をAWS SageMaker JumpStartで提供開始

要点

• 米AWSは、NVIDIAのオープンモデル「Nemotron 3.5 Lightning」が「Amazon SageMaker JumpStart」上でデプロイ可能になったと発表した。

• 総パラメータ数300億のうち処理時に30億のみを活性化するMoE構造を採用し、単一のサポート対象GPUでの動作に対応する。

• 高ボリュームなエージェントワークロードにおいて最大4倍のスループットと最大30%高速なタスク完了を実現し、最大100万トークンのコンテキスト長を備える。

• ワークフロー全体を単一の巨大モデルに頼るのではなく、呼び出し頻度が高い定型処理を小型モデルに任せる「モデルの適材適所配置」向けに設計されている。

• 米Amazon Web Services（AWS）は2026年8月17日、米NVIDIAが開発したAIモデル「NVIDIA Nemotron 3.5 Lightning」を、機械学習モデルの管理・展開ハブ「Amazon SageMaker JumpStart」において提供開始したと公式ブログで発表した。利用者はインフラ環境を一から構築・設定することなく、SageMaker JumpStart上から同モデルを直接エンドポイントとしてデプロイできるようになる。常時稼働するAIエージェントなどで発生する大量の処理要求に特化して開発されたオープンモデルであり、単一のGPU環境でも高効率に動作するという。

単一GPUで動作する高効率MoE構造と高速化技術

Nemotron 3.5 Lightningは、NVIDIAの最上位基盤モデル「Nemotron 3 Ultra」から蒸留（大規模モデルの知識をより軽量なモデルへと引き継がせる技術）され、開発者コミュニティ「Nemotron Coalition」と共同で開発されたオープンモデルである。オープンデータセットを用いて学習されており、利用者は重みデータを所有し、独自のカスタマイズや任意の環境へのデプロイが可能となっている。

本モデルの設計における最大の特徴は、「ハイブリッドMixture-of-Experts（MoE：処理内容に応じて一部の専門家ネットワークのみを動かす仕組み）」の採用にある。モデル全体の総パラメータ数は30B（300億）に達するものの、推論の1パス（Forward pass）において実際にアクティブとなるパラメータは3B（30億）に抑えられている。これにより、最先端の大規模モデルを動かすような巨大インフラを用意せずとも、サポート対象となる単一のGPU上で軽量に動作させることができる。

処理速度の面でもエージェント用途に合わせた最適化が施されている。NVIDIAによれば、大量の処理が発生するエージェントワークロードにおいて、同クラスのオープンモデルと比較して最大4倍のスループット（単位時間あたりの処理量）向上と、最大30%のタスク完了時間の短縮を達成したという。さらに、投機的デコーディング（推論を先読みして高速化する技術）として「DFlash」を採用することで、トークン単位の生成遅延を一段と削減している。

また、最大100万トークン（1M tokens）という大規模なコンテキスト長（モデルが一度に保持・参照できる情報量）をサポートしている点も特徴だ。これにより、長時間のマルチターンセッションにわたってエージェントが過去の状態や文脈を記憶し続けることが可能となり、同一の前提情報を何度もモデルに送り直す手間を省くことができる。

すべてのタスクに巨大モデルを使わない「モデル群」アプローチ

今回の発表においてAWSとNVIDIAは、AIエージェントのワークフローにおける「モデルの適材適所な使い分け」の重要性を強調している。

常時稼働する自律型エージェントは、環境の観察、収集した情報の推論、外部ツールの実行といった多様なステップを連続して実行する。しかし、これらの処理すべてにおいて最先端の巨大モデル（フロンティアモデル）が必要とされるわけではない。複数段階にわたる複雑な計画立案や、サブエージェント全体の統括には高度な推論力を持つ大型モデルが求められる一方で、アラート通知の分類、フォームからのデータ抽出、セキュリティポリシーとの照合といった個別の処理は、小型で特化したモデルでも十分に処理できる。

こうした定型処理はシステム全体のAPI呼び出し回数の大半を占める傾向がある。そのため、すべての工程を単一の大規模モデルに流し込むと、処理遅延と運用コストの急増を招く原因となる。この課題に対し、タスクの性質に応じて最適なモデルへ処理を振り分ける「System-of-models（複数モデル協調）」アプローチが有効であり、Nemotron 3.5 Lightningはその中で高頻度かつ大量の呼び出しが発生する専門タスクを担うために設計された。代表的なエージェント用フレームワークで利用されるツール呼び出し（Tool use）の精度を高める学習があらかじめ施されている。

ルーティング機能との連携とベンチマーク結果

複数のモデルを運用する環境に向けて、NVIDIAのルーティングツール「NVIDIA NeMo Switchyard」との連携も示されている。NeMo Switchyardをシステム構成に組み込むことで、エージェントワークフロー内の個々の処理ステップを適切なモデルへと自動的に割り振ることが可能となり、高速性と特定タスクの精度が求められる領域にNemotron 3.5 Lightningを柔軟に配置できる。

公開された評価ベンチマークによると、4ビット浮動小数点形式である「NVFP4」量子化を適用した場合でも、標準的な「BF16」精度に近い性能を多くのタスクで維持していることが確認されている。高精度を保ちながらリソース消費を抑えた運用が可能であることが示された形だ。