NVIDIA、Jetson AGX ThorでのエージェントAI推論を6.4倍高速化——TensorRT Edge-LLMによるMLPerfベンチマーク結果を公開

要点

• NVIDIAは、エッジ向け推論フレームワーク「TensorRT Edge-LLM」を用いた「MLPerf Inference v6.1 Edge Agentic」ベンチマークの測定結果を公開した。

• 次世代エッジ向けモジュール「Jetson AGX Thor Developer Kit」上で270億パラメータの「Qwen3.6-27B」を実行し、52.33トークン/秒の出力スループットを記録した。

• 全1,007ターンの性能測定ワークロードを24分36秒で完了し、llama.cppによる参照実装（2時間37分）と比較して約6.4倍の高速化を達成した。

• NVFP4量子化やFP8 KVキャッシュ、ツリー構造のマルチトークン予測（MTP）、キャッシュ再利用技術によってコンテキスト処理を最適化している。

• 関数呼び出しの正確性を評価するBFCL v4ベンチマークにおいて、87.94%の総合精度を記録した。

• 米NVIDIAは2026年9月16日、同社の公式技術ブログにおいて、エッジデバイス向け推論エンジン「TensorRT Edge-LLM」を用いたエージェントAIベンチマーク「MLPerf Inference v6.1 Edge Agentic」の測定結果を公開した。次世代エッジモジュール「NVIDIA Jetson AGX Thor Developer Kit」上で270億パラメータ規模のLLM「Qwen3.6-27B」を動作させたところ、従来の参照実装と比較して6.4倍の高速化を達成したという。

1,007ターンのエージェントタスクを24分台で完走、出力は毎秒52トークン超

公開されたベンチマーク結果によると、測定には128GBのユニファイドメモリ（CPUとGPUで共有する統合メモリ）を搭載した「NVIDIA Jetson AGX Thor Developer Kit」を1台使用し、MAXN電力モードかつSingleStreamモードで推論が実行された。モデルにはオープンソースの大規模言語モデルである「Qwen3.6-27B」が採用されている。

性能測定フェーズにおいて、同システムは出力スループットとして毎秒52.33トークンを記録した。最初のトークンが出力されるまでの時間（TTFT: Time to First Token）の中央値は247.12ミリ秒、出力トークンごとの生成時間（TPOT: Time per Output Token）の中央値は14.68ミリ秒だったという。

ベンチマークに含まれる全20会話・1,007ターンのワークロード全体の処理時間は24分36秒を記録した。これは、比較対象となるllama.cppのリファレンス（参照）実装が要した2時間37分と比較して、約6.4倍の高速化に相当する。また、関数呼び出しの精度を測るテストでは87.94%の総合精度を達成したと報告されている。

長期コンテキストとツール呼び出しを評価する「MLPerf Edge Agentic」の構造

今回の測定で用いられた「MLPerf Edge Agentic」は、業界団体のMLCommonsが策定したエッジ環境向けエージェントAIの標準ベンチマークであり、OpenAI互換のAPIエンドポイントを介して「性能」と「精度」の2つのフェーズで評価を行う。

性能測定フェーズでは、ソフトウェアエンジニアリング作業における実際のエージェントの行動履歴（トラジェクトリ）を再現してテストが進められる。モデルはユーザーからの指示を受け取った後、適切なツールの呼び出しコマンドを生成し、その実行結果を受け取って次の推論を行うというマルチターンのループを繰り返す。ターンが進むにつれて過去の履歴が会話コンテキストとして蓄積され、入力トークン長は最大で約2万3,500トークン（約23.5Kトークン）にまで膨らむため、長大な文脈を効率的に処理する能力が厳しく問われる。なお、エージェントが正しく動作しているかを保証するため、IoU（Intersection of Union）に基づくインライン精度も同時に測定される仕組みとなっている。

一方の精度測定フェーズでは、評価セット「BFCL（Berkeley Function Calling Leaderboard）v4」から抽出された995件のプロンプトが使用される。エッジデバイスにおける評価時間と精度のバランスを取るため、シングルターンかつ推論（reasoning）機能をオフにした設定でテストが行われ、モデルが適切な関数を選択できているか、有効な引数を生成しているか、ツール呼び出しが不要な場面で誤って実行（ハルシネーション）していないかが検証される。

NVFP4量子化やツリー型MTPなど、Blackwellアーキテクチャを活かした高速化技術

NVIDIAは、今回の高速化がBlackwellアーキテクチャを採用したGPU向けに複数の最適化技術を組み合わせることで実現されたと説明している。

1つ目の要因は、メモリ使用量と演算負荷の圧縮である。モデルの重み（ウェイト）および活性化（アクティベーション）に対して4ビット浮動小数点数を用いた「NVFP4」量子化（W4A4）を適用し、さらに過去の計算結果を保持するKVキャッシュ（Key-Valueキャッシュ）には「FP8」形式を採用した。

2つ目は、エージェントのターン間におけるコンテキストの再利用である。KVキャッシュおよび再帰的な内部状態をターンをまたいで再利用する仕組みを導入した結果、プロンプトトークンの約96%が高速な「ホットキャッシュ」から供給されたという。これにより、エージェントが行動を重ねるたびに発生していた反復的な事前計算（プレフィル処理：プロンプト全体の入力を一括して事前計算する処理）が大幅に削減された。

3つ目は、「ツリーベース・マルチトークン予測（MTP: Multi-Token Prediction）」の導入である。マルチトークン予測とは、1回の推論ステップで後続の複数トークンを同時に予測してデコードを高速化する手法を指す。本システムでは8ステップ・上位2候補（Top-2）・16ノードからなる検証ツリー構造を採用しており、従来の線形的なMTPと比較して、関数呼び出しを伴う処理におけるデコード性能がさらに約40%向上したとしている。

再現用ブランチやキャリブレーション済みモデルを公開

NVIDIAは今回の発表にあわせて、開発者が成果を検証・導入できるように関連リソースの公開場所を案内している。

推論フレームワークのGitHubリポジトリ「TensorRT Edge-LLM」では、モデルのエクスポート設定、推論エンジンのビルドコマンド、サーバー設定を含む専用ブランチ（release/0.9.1-mlpinf）が公開されている。また、Hugging Face上ではCentML社によるキャリブレーション済みのNVFP4モデルチェックポイント（Qwen3.6-27B-NVFP4-W4A4-mlpinf）が提供されており、データセットやクライアント側の設定についてはMLCommonsのリポジトリ内でサンプルコードが参照可能となっている。