OpenAI、コーディング能力評価「SWE-Bench Pro」の約30%に欠陥があると指摘
要点
- OpenAIは、AIのコーディング性能を測定する主要ベンチマーク「SWE-Bench Pro」の監査結果を公表した。
- 監査により、全評価タスクの約30%に設計上の欠陥やテストの不備などの「破損」があると推定した。
- 厳しすぎるテストや不十分な指示など、AIの能力を正しく測定できない主に4つの問題カテゴリを特定した。
- 自動判定、AIエージェント、および人間のエンジニアによる多角的な監査プロセスを用いてデータを精査した。
米OpenAIは2026年7月8日、AIのソフトウェア開発能力を測定する代表的なベンチマーク（性能測定の基準）である「SWE-Bench Pro」の監査結果を公開した。同社の調査により、収録されている評価タスクの約30%に何らかの不具合（破損）が存在し、モデルの能力を正しく評価できていない可能性があることが明らかになった。OpenAIは開発者に対し、結果を慎重に検証するよう促している。
監査の背景：評価の信頼性とベンチマークの変遷
AIモデルの性能測定は、安全性や開発優先順位の判断に直結する。評価に欠陥があるとモデル能力を誤認し、OpenAIの安全性ロードマップ「Preparedness Framework（安全準備フレームワーク）」に基づく展開判断などに悪影響を及ぼす。
同社は以前、広く普及していたコーディングベンチマーク「SWE-bench Verified」の設計ミスやデータ汚染問題を指摘し、業界に対して「SWE-Bench Pro」への移行を推奨していた。
「SWE-Bench Pro」は、長期かつ現実的な課題でAIの自律的な開発能力を測定する目的で設計され、公開された731個のタスクにおいて、最先端モデルの合格率は8ヶ月間で23.3%から80.3%へと急上昇していた。この急激なスコア向上の裏にあるデータの信頼性を検証するため、今回の監査が実施された。
監査で判明した4つの問題カテゴリ
今回の監査では、データ品質検証パイプラインを用いてタスクが精査された。自動判定ツールで全タスクの27.4%（200件）、人間のエンジニアによる精査で34.1%（249件）の「破損（動作や評価の破綻）」が確認され、OpenAIは全体で約30%に欠陥があると推定した。
検出された不具合は、主に以下の4つのカテゴリに分類される。
- 厳しすぎるテスト: 指示（プロンプト）で指定されていない細かな実装方法をテスト側が強制するため、機能的に正しいコードであっても不合格になる。
- 不十分なプロンプト: 隠された採点テストで課されている要件が指示文に記載されておらず、コードの文脈からも推測が不可能なケース。
- 低カバレッジのテスト: 要求された機能に対するテスト範囲が不十分で、プログラムが不完全であっても合格できてしまう。
- 誤解を招くプロンプト: AIを誤った方向へ誘導する指示や、テストの要求と矛盾する指示がある。
監査の手法と「AI対人間」の評価差
OpenAIは、モデルの成否が真の実力を反映しているかを検証するため、自動判定、調査用エージェント、および人間のエンジニアを組み合わせた品質保証体制を構築した。
検証プロセスでは、まず自動フィルターで破損の疑いがある286件のタスクを抽出した。その後、コードの変更履歴が保管されている「リポジトリ」や実行環境へアクセス可能なCodexベースの「調査用AIエージェント」による監査と、経験豊富なソフトウェアエンジニア5名による独立したレビューの2ルートで精査した。
調査の結果、人間はAIよりもタスクを「破損している」と判断する傾向が強く、判定が一致した割合は74%だった。また、人間は1つのタスクに複数の問題を指摘する傾向が見られた。特に「低カバレッジのテスト」では、AIエージェントが問題視したのが全体の4.1%だったのに対し、人間は9.4%で最多の問題と判定した。AIと人間の認識の差が浮き彫りになっている。
具体的な失敗例：OpenLibraryのケース
具体的な不具合の例として、書籍管理システム「OpenLibrary」のタスク（OpenLibrary-77c16d5）が紹介されている。
このタスクは、目次データをMarkdown形式に変換するもので、指示文にはスペースや記号の配置（例: " | Chapter 1 | 1"）などが細かく指定されていた。しかし、実際の採点用テストが指示と異なる出力を要求していたため、指示通りに記述された正しいコードが不合格判定を受ける矛盾が生じていた。