NVIDIA、LLM推論基盤向けAI評価ベンチマーク「SWE-Serve」を発表──単体テスト合格パッチの約3割が実稼働検証で失敗

要点

• NVIDIAは、LLM推論エンジン「SGLang」を対象に、AIコーディングエージェントの実装能力を測定するベンチマーク「SWE-Serve」を発表した。

• 実際にサーバーを起動する検証では、通常テストを通過した修正コードの約3分の1が失敗し、ローカル検証と実稼働の間に大きな乖離があることが判明した。

• リクエスト処理やメモリ管理など複数のランタイム領域にまたがる課題では、単一領域の課題に比べて合格率が21.3ポイント低下した。

• 主要11モデルを評価した結果、「Claude Opus 5」と「GPT-5.6 Sol」がトップとなる約75%の合格率を記録した。

• NVIDIAは2026年9月23日、AIコーディングエージェントが大規模言語モデル（LLM）の推論サービング基盤に対して行うコード修正能力を測定するベンチマーク「SWE-Serve」を発表した。オープンソースの推論エンジン「SGLang」の開発チームの協力を得て構築された本ベンチマークにより、通常のテストを通過したコードであっても、実際にサーバーを起動して検証を行うと約3割が失敗するという実態が明らかになった。

LLM推論基盤の実装に特化した53のタスク

ソフトウェア開発向けの既存ベンチマークが一般的な開発タスクを対象とし、推論向けベンチマークが単一カーネルの生成などに集中していたのに対し、SWE-Serveは推論サービング基盤全体にまたがるリポジトリ規模のコード変更能力を評価する。

本ベンチマークは、SGLang（LLMの高速な推論と配信を行うオープンソースの推論エンジン）で実際にマージされた83件のプルリクエストを基に、53件の実行可能なタスクで構成されている。課題は以下の6つの技術領域に分類されている。

• 投機的デコーディングおよび高度なデコーディング（14タスク）
• モデルおよびバックエンドの対応（12タスク）
• カーネル、量子化、パフォーマンス（8タスク）
• サービングAPIおよびランタイムの正確性（8タスク）
• キャッシュおよびランタイム状態（7タスク）
• 分散実行およびスケジューリング（4タスク）

53件中37件は単一のプルリクエストから、残る16件は2件から6件の関連する変更を統合して作成された。基準となる修正コードの中央値は7ファイルにまたがる553行に達し、新機能の検証テストが平均7件、回帰テストが平均10件含まれるなど、実用規模の大規模な変更が求められる設計となっている。

具体的な課題の一例として、Qwen3.5シリーズのモデル（0.8Bの高密度モデルおよび35B-A3BのMixture-of-Expertsモデル）へのサービング対応を追加するタスクが挙げられている。エージェントは指定された1台のH100 GPU上で、通常のSGLangインターフェース経由で両モデルをロードし、正常に応答を返せるよう実装しなければならない。

実サーバー検証で浮き彫りになったギャップ

SWE-Serveの大きな特徴は、コード修正後に実際に推論サーバーを立ち上げ、公開インターフェース経由で正しい応答を返せるかをエンドツーエンドで確認する点にある。

実際にサーバーを起動して検証を行う19のタスクにおいて、サーバー起動チェックを除外した通常テストでの合格率は69.4%であった。しかし、完全なサーバー検証を含めると合格率は45.9%へと大幅に低下した。これは、単体テストなどの事前検証をパスしたパッチであっても、約3つに1つ（約33%）が実稼働環境でのリクエスト処理に耐えられず失敗していることを示している。

複数領域にまたがる処理での性能低下

さらに分析の結果、タスクが関与するソフトウェアの領域数によって難易度が大きく変化することが判明した。

リクエスト処理、スケジューリング、モデル実行、KVキャッシュ（過去の計算結果を保持して推論を効率化するメモリ管理機構）など、複数のランタイム領域にまたがるタスクの合格率は、単一領域で完結するタスクと比べて21.3ポイント低かった。この性能低下の傾向は、検証対象となったすべてのAIモデルで共通して確認されたという。

11モデルの評価結果と検証環境

AIエージェントフレームワーク「mini-swe-agent」を用い、Web検索などの外部通信を遮断した閉域環境で主要11モデルの評価が実施された。

初回試行での合格率を示す平均pass@1は34.6%から75.5%の範囲となった。最高水準の成績を記録したのは「Claude Opus 5」と「GPT-5.6 Sol」で、ともに約75%の合格率を達成した。ただし、同等の合格率を記録したモデル間であっても、要したAPIコストや実行時間には大きな差異が見られたと報告されている。

タスクの実行環境としては、12タスクがCPU、41タスクが単一のNVIDIA H100 GPU上で動作する。また、3タスクではH100上での調整済み性能基準（パフォーマンスゲート）が設定されている。なお、今回の初期リリースでは、マルチGPU環境や複数ノードでの分散サービング、他の推論エンジンは評価対象外とされている。