OpenAI、API設定の調整で「GPT-5.6 Sol」のパズルベンチマークスコアを3倍に改善

要点

• OpenAIは、最新AIモデル「GPT-5.6 Sol」が2Dパズルベンチマーク「ARC-AGI-3」で当初低スコアだった原因が、実行環境の設定にあったと発表した。

• APIの2つの設定「推論プロセスの保持（retained reasoning）」と「コンテキスト圧縮（compaction）」を有効にすることで、公開セットのスコアが13.3%から38.3%へ向上した。

• 設定変更によってモデルが過去の思考や行動を記憶できるようになり、思考時間の短縮とともに出力トークン数を6分の1に削減できた。

• 従来の評価環境では、アクションごとに思考履歴がリセットされる仕様や、古い履歴が機械的に消去される仕様がモデルの学習を妨げていた。

• 米OpenAIは2026年7月29日、同社の最新AIモデル「GPT-5.6 Sol」において、2Dパズルゲームを用いたベンチマーク「ARC-AGI-3」のスコアを大幅に向上させる手法を公式ブログで発表した。実行環境のAPI設定をわずか2箇所変更しただけで、公開タスクセットにおけるスコアが従来の約3倍に達し、さらに処理に必要な消費トークン数も大幅に削減されたという。

高い実力を持ちながらパズルで苦戦した「GPT-5.6 Sol」

「ARC-AGI-3」は、AIエージェント（自律的に動作するAIプログラム）が指示なしで未知の2Dパズルを解き、その学習力と推理力を測定するベンチマークテストである。このテストでは、モデルに得点の計算方法は知らされず、スコアは「相対的人間行動効率（RHAE：Relative Human Action Efficiency）」という人間の基準値と比較する指標で測定される。

OpenAIの最新モデルであるGPT-5.6 Solは、数学の未解決問題である「サイクル二重被覆予想（cycle double cover conjecture）」を解き明かしたり、ゲーム『ポケットモンスター ファイアレッド』をクリアしたりするほどの高い能力を備えている。また、カードゲーム『Slay the Spire』のランダムなデイリーチャレンジのクリアや、パズルゲーム『Baba Is You』の初期ステージ突破なども達成していた。

しかし、ARC-AGI-3における初期テストでは、GPT-5.6 Solのスコアはわずか7.8%（公式環境の公開セットでは13.3%）にとどまり、前世代モデルのGPT-5.5にいたっては0.4%という極めて低い結果であった。この結果は開発チームを当惑させ、詳細な調査が開始されるきっかけとなった。

分析で判明したテスト環境における「記憶」の課題

チームがGPT-5.6 Solの試行ログを詳しく調査したところ、モデルがパズルを解けなかった主な原因は、知能そのものの限界ではなく、テストを実行する環境（ハーネス）の設定にあることが判明した。

具体的には、2つの決定的な問題が浮かび上がった。1点目は、モデルがゲーム内でアクションを起こすたびに、出力の前に実行される「プライベートな推論プロセス（思考履歴）」がすべて破棄されていたことである。モデルには過去の手順や簡単なメモしか渡されていなかったため、毎ターン新規にゲームを解釈し直さなければならなかった。

2点目は、長時間の処理でデータ量が上限に達するのを防ぐために「ローリングトランケーション（古い履歴から順に削除する処理）」が適用されていたことである。文字数が17万5,000文字を超えると古いメッセージから順に破棄されるため、GPT-5.6 Solは自身の過去の思考だけでなく、実際に行った行動の履歴すら見失う状況に陥っていた。

課題を解決した2つのAPI設定

OpenAIは、この課題を解決するために、同社の製品である「ChatGPT」や開発者向け環境「Codex」で通常使用されている2つのAPI設定を、Responses APIを介して適用した。

まず適用されたのが「推論プロセスの保持（retained reasoning）」である。これは以前の応答IDを引き継ぐことで、複数のターンやツール呼び出しをまたいで、モデルの内部的な思考履歴を記憶として残す機能である。これにより、モデルは前回のターンで考えたことを記憶したまま次の行動を選択できるようになり、思考時間を減らしながら一貫した戦略を立てられるようになった。

次に、ローリングトランケーションに代わり「コンテキスト圧縮（compaction）」を有効化した。これは会話履歴が長くなった際に、重要な情報を要約してデータ量を削減する技術である。これにより、モデルは長時間のゲームプレイを通じても、それまでに獲得したパズルのルールや知見を失わずに維持できるようになった。

最適化がもたらした効果

これら2つの設定を有効にした結果、GPT-5.6 SolのARC-AGI-3公開セットでのスコアは13.3%から38.3%へと急上昇した。この数値は、人間のテスターが記録した平均スコアである48%に迫る実績である。

さらに、これらの設定は処理の効率化にも大きく貢献した。モデルがゲームを一から分析し直す必要がなくなったため、出力されるトークン数は従来の6分の1にまで減少した。

OpenAIは今回の結果について、AIモデルの性能評価はモデル単体だけでなく、APIの設定や実行環境の設計といった目に見えにくい要素にも大きく依存していることを示す好例であると説明している。