OpenAI、GPT-6向けプロンプトキャッシュを強化 ヒット率向上と最大90%割引、診断機能や推論設定の維持に対応
要点
-
米OpenAIは2026年9月22日、GPT-6ファミリー向けにプロンプトキャッシュ機能を大幅に強化したと発表した。
-
30分以内の共有プレフィックス再利用で割引が適用され、キャッシュされた入力トークンは最大90%のコスト削減が可能となる。
-
キャッシュ状況を可視化するダッシュボードや、キャッシュミスの原因を特定する診断ツールが新たに提供される。
-
会話の途中で推論負荷を変更してもキャッシュを維持できる機能や、事前読み込み(プリウォーミング)機能などが追加された。
-
GitHub CopilotやManusなどの導入企業において、キャッシュヒット率の向上やコスト削減、応答速度の改善が報告されている。
-
米OpenAIは2026年9月22日、同社の最新AIモデル「GPT-6」ファミリーを対象としたプロンプトキャッシュ(過去に入力された共通のテキストや指示の計算結果を保持して再利用する仕組み)システムの強化を発表した。
-
長時間にわたって自律的に稼働するAIエージェントの処理速度向上と運用コスト削減を目的としており、デフォルトでのキャッシュヒット率向上に加え、開発者がキャッシュ状態を監視・制御するための各種ツールが新たに導入されたという。
GPT-6におけるキャッシュ性能の向上と割引体系
OpenAIの説明によると、GPT-6を活用したエージェントはコードベースのリファクタリングや調査資料の作成など、複雑なタスクで数時間にわたり稼働することが可能となっている。こうした用途では一連のAPIリクエストが連続して実行され、同一の指示文やツール定義、コンテキスト(文脈情報)が繰り返し引き継がれる傾向がある。
今回のアップデートでは、リクエスト間で共通するコンテキストの計算を再利用する仕組みが改良され、デフォルトのキャッシュヒット率が向上した。30分の時間枠内に再利用された対象プレフィックス(プロンプトの先頭部分)に対してキャッシュ割引が適用され、開発者はキャッシュされた入力トークンについて最大90%の割引を受けられるとしている。
運用状況の可視化とキャッシュミスの診断ツール
開発者向けの新機能として、キャッシュの稼働状況を把握できる「Prompt Caching Dashboard」が公開された。このダッシュボードでは、アプリケーションの入力のうちどれだけがキャッシュから処理されたかを追跡できるほか、時系列でのヒット率の推移や、キャッシュされたトークンと未キャッシュトークンの構成比率を確認できる。これにより、ヒット率の低下やアプリケーションの改修による影響を迅速に評価できるという。
また、予期せぬキャッシュミス(キャッシュされたデータが利用できず、再計算が発生すること)が発生した際の原因を究明する「プロンプトキャッシュ診断ツール」も提供される。直前のレスポンスとリクエストを比較することで、モデル、ツール、設定、入力テキストの変更など、どの要素が再利用を妨げたのかを特定できる。影響を受けた推定トークン数も出力されるため、改善に向けた影響度合いの判断が可能になるとしている。
キャッシュ効率を高める4つの最適化機能
今回の発表では、開発者が自身のワークロードに合わせてキャッシュの挙動を調整できる機能も紹介されている。
- 明示的なキャッシュブレークポイントの指定
開発者がプロンプト内のどのプレフィックスを再利用対象とするかを明示的に選択できる「Explicit cache breakpoints」が導入された。 - キャッシュを維持した推論負荷の調整
GPT-6モデルでは、会話の途中で推論負荷(Reasoning Effort)を変更してもキャッシュが破棄されない仕様となった。難易度の高いタスクでは負荷を引き上げ、定型的な処理では引き下げるといった調整を、configuration_updateを追加する形で行える。これにより、リクエスト単位の設定を変えることなく、再利用可能なコンテキストを保持できるという。 - ツール定義や指示変更時のキャッシュ保護
エージェントが使用するツールの定義やスキーマ、並び順を固定したまま、allowed_toolsで呼び出し可能なツールを制限したり、ツールが不要な場面でtool_choiceをnoneに設定したりすることで、定義の削除によるキャッシュ破棄を防止できる。また、新たな指示を追加する場合は、末尾に開発者メッセージ(developer messages)を追記して古い指示を上書きする手法が案内されている。 - キャッシュの事前読み込み(プリウォーミング)
ユーザーからの最初のリクエストが届く前に、共通の指示やツール定義、参照資料などのコンテキストをあらかじめ準備しておく「Prewarming」機能が提供される。これにより、ユーザーの待ち時間を短縮し、モデルの初回応答を高速化できるとしている。
導入企業における実績
発表内では、先行して本機能や最適化手法を取り入れた各社の事例も公開されている。
- GitHub Copilot: チーフプロダクトオフィサー(CPO)のMario Rodriguez氏によると、OpenAIモデルに対する数十億件のリクエストにおいて、新規処理が必要なプロンプトトークンの割合が従来の基準から50%以上削減された。推論スタックの効率化とともに、開発者への初回応答時間(Time to First Response)が短縮されたという。
- Strawberry Browser: 最高技術責任者(CTO)のArian Hanifi氏は、ダッシュボードや診断ツールの活用によりヒット率が数パーセント改善し、コストが20%削減されたと述べている。明示的ブレークポイントの活用により、共通コンテキストを再利用しながらバックグラウンドタスク向けに会話を分岐させることが経済的に可能になったとしている。
- Manus: エージェントチームリードのBin Fan氏によると、明示的キャッシュと自動キャッシュの併用やミスの特定を進めた結果、1週間足らずでキャッシュヒット率が約85%から90%超へと向上し、本番環境の推論コストが低減したという。
- Wordsmith: AIエンジニアのEugene Mikhantyev氏は、セッションエージェントを明示的ブレークポイントへ移行したことで、評価環境でのキャッシュヒット率が83%から91%に上昇したと報告している。これによりキャッシュの書き込みが約3分の2削減され、推論コストが36%削減されたとしている。
利用開始に向けて
開発者は、提供が開始されたPrompt Caching Dashboardでのヒット率監視や、診断ツールによる原因調査を通じてキャッシュの最適化を開始できる。また、公開されたプロンプトキャッシュガイドを参照するほか、Codexエージェントを用いてコードの確認や改善の適用、効果測定を行うことも可能であると案内されている。