Hugging Face、AIエージェントを用いたICML論文の再現ハッカソンを開催　2200本超を検証

要点

• Hugging Faceは、AIエージェントを用いてICML 2026の採択論文の再現性を検証するハッカソンを実施した。

• 1,200人以上の参加者が、全採択論文の約3分の1にあたる2,226本の再現実験を試みた。

• 検証された論文のうち51%で少なくとも1つの主張が再現された一方、23%で少なくとも1つの主張が誤り等と判定された。

• AIの普及による論文投稿数の急増に対し、査読者の検証リソースが追いついていない現状が背景にある。

• AIスタートアップのHugging Faceは2026年8月13日、同年7月に開催した論文再現ハッカソン（開発者らが集まり、短期間で集中的に作業を行うイベント）「ICML 2026 Open Reproductions challenge」の成果を公表した。このイベントでは、1,200人以上の参加者がAIコーディングエージェントを用いて、機械学習の国際会議「ICML 2026」の採択論文の再現実験を行った。19日間の期間中に全採択論文の約3分の1に相当する2,226本の論文の検証が試みられ、再現性に関する大規模なデータが収集された。

論文の急増と査読の限界

AI研究における再現性の問題は以前から指摘されていたが、論文数の急激な増加によってその懸念はさらに深まっている。ICML 2026の投稿数は23,918件に達し、採択数は6,352本と前年の約2倍を記録した。この急増は、AIエージェントの普及によって実験や論文執筆のプロセスが高速化したことが一因とされている。

一方で、ボランティアによる査読（論文の妥当性を専門家が検証するプロセス）のキャパシティは追いついていない。例えば、高い評価を得て「スポットライト（特に注目される論文）」に選ばれた論文であっても、査読者が「すべての証明を注意深く確認したわけではないため、確信度が低い」とコメントしていた事例が紹介されている。

従来、人間が論文を精査して再現実験を行うには週末を丸ごと費やす必要があった。しかし現在では、「Claude Code」や「Codex」などのAIエージェントを活用することで、論文を読み込み、コードを書いて実験を実行し、結果を報告する一連のプロセスを並列かつ迅速に実行できるようになっている。

再現検証の仕組み

2026年7月15日から8月2日まで実施されたハッカソンでは、以下のステップで検証が行われた。

まず、ICML 2026で採択された6,341本の論文から主要な科学的主張を抽出し、エージェントが具体的な目標から検証を開始できるようにした。参加者は「Claude Code」「Cursor」「orx」などのエージェントを使用し、コマンド1つで論文や指示を取得した。

検証の過程は、コードや成果物、実行履歴を含む「Trackio」と呼ばれるログブック（実験の過程や結果を記録したデータ）として公開された。公開されたログブックは、オープンウェイト（モデルの重みパラメータ情報が一般公開されているAIモデルのこと）のAIモデル「GLM-5.2」を搭載した自動判定システムによって再評価され、「検証済み」「誤り」「トイ（縮小規模での再現）」「結論不可」の判定が下された。

実験用には20ドルの計算クレジットが配布され、データ非公開の場合は合成データを用いた「トイ再現」が行われた。

検証結果

今回の試みは、科学的カンファレンスにおける再現実験としては過去最大規模となった。参加者は1,221人、公開されたログブックは6,816件に達し、35,908件の主張が判定された。

論文単位での集計では、検証された論文の51%（1,103本）で少なくとも1つの主張が「検証済み」とされた。このうち266本はすべての主張が完全に再現され、632本は一部が再現され「誤り」の判定はなかった。

一方、検証された論文の23%（496本）で少なくとも1つの主張が「誤り」または「異議あり」と判定された。すべての主張が誤りとされ、再現が不可能だった論文も49本存在したという。

補足

AIエージェントを活用した検証は、従来の査読プロセスを補完し、研究の再現性を効率的にチェックする新たな手段として注目される。