NVIDIAがAIエージェントによる強化学習研究の自動化ワークフローを実証、環境構築からモデル最適化まで自走

要点

• NVIDIAは、AIエージェントを用いて強化学習の研究プロセスを自動化するワークフローを実証した。

• AI「Codex」が、NVIDIA NeMo RLやNeMo Gymなどの環境構築から実験管理までを自律的に遂行した。

• 視覚言語モデルの訓練において、エージェントが自律的に新規環境を構築し、タスクの正解率を25%から96.9%に向上させた。

• 文献からオフポリシー強化学習アルゴリズム「OAPL」をコードへ移植し、10時間の検証トレーニングを実行した。

• 自動研究の目的は人間の代替ではなく、反復作業を自動化し、研究者が戦略的意思決定に専念できるようにすることだ。

• 米NVIDIAは2026年7月14日、AIエージェントとオープンソースフレームワーク「NVIDIA NeMo」を組み合わせ、強化学習（試行錯誤を通じて最適な行動を学習するAI技術）の研究ワークフローを自動化する手法を公開した。検証では、コーディング向けAI「Codex（GPT 5.5）」が、GPUクラウド上で環境構築からモデルの最適化、論文からのコード実装までを自律的に実行したという。

AIエージェントが研究工程をエンドツーエンドで処理

指示に基づき自律的にタスクを実行するAIエージェントの実用化が進む中、今回の発表は、手間のかかる強化学習の実験プロセスにAIを導入し、研究効率を向上させる手法を示したものだ。

人間が目標を設定すれば、エージェントが仮説構築、コードの編集やテスト、評価指標改善の適用、結果報告までを一貫して行う。これには、ソフトウェアのセットアップやGPUメモリ管理、デバッグなどの「フルスタックの自律性」が含まれる。

この取り組みは、著名なAI研究者であるアンドレイ・カルパシー氏が開発した、モデル訓練を自動化するオープンソースプロジェクト「autoresearch（オートリサーチ）」のアプローチに基づいている。

NeMo RLとNeMo Gymを活用した実験環境

検証には、NVIDIAのオープンソースライブラリ「NVIDIA NeMo RL」と「NVIDIA NeMo Gym」が活用された。

「NeMo RL」は、LLM（大規模言語モデル）やVLM（画像とテキストを同時に処理する視覚言語モデル）の事後学習を行うフレームワークだ。「vLLM」などをベースにし、分散環境を管理する「Ray」で制御され、「GRPO」や「DPO」などの多様なトレーニングに対応する。

「NeMo Gym」は、モデルがタスクと相互作用して報酬を受け取り、学習を進めるシミュレーション環境を提供する。

さらに、環境の健全性を維持する「Brev-etiquette」、状態を永続化する「session-memory」、実験を管理する「autoresearch」という3つのエージェントスキルを導入し、「NVIDIA Brev」のGPUインスタンス上で統合。同一リポジトリ内での再現性のある実験管理を可能にした。

視覚言語モデルの訓練精度が25.0%から96.9%に向上

実証実験において、CodexはまずVLMの強化学習を実行するための動作確認用スタックを構築した。

続いて人間からのコード指示なしで、ゼロから独自の「NeMo Gym視覚的カウンティング環境」を考案・作成。この環境を用いて、パラメーター数約20億の軽量な視覚言語モデル「Qwen3-VL-2B-Instruct」のトレーニングを行い、当初25.0%だったタスクの正解率を最終的に96.9%にまで向上させた。

論文からコードを生成する「Paper-to-code」能力

さらに、公開されている研究論文を読み込み、アルゴリズムを実際のコードに落とし込む「Paper-to-code」の実証も行われた。

Codexは、学術文献からオフポリシー（自身の行動履歴とは異なるデータからも学習を進める手法）強化学習アルゴリズム「OAPL」の仕様を読み解き、実装計画を立案。コード化やテストの追加、妥当性検証のための10時間に及ぶトレーニング開始までを自律的に進めた。

研究者の役割は「戦略的監視」へシフト

NVIDIAは、このようなワークフローの目的について、研究者をプロセスから排除することではないと説明している。

環境構築やパラメータ調整などの反復タスクをAIに委託することで、研究者は目標設定や進捗レビュー、全体戦略の舵取り、最終決定といった「戦略的な監督業務」に集中できるようになるという。また、データや知的財産の制御権を保持したまま、独自の環境内で最適化を進められる点もメリットとして強調されている。