Cloudflare、AIコードレビューの推論費用を68％削減　キャッシュ最適化や基盤刷新で時間も大幅短縮

要点

• 米Cloudflareは、社内AIコードレビューシステムの推論費用を平均2.43ドルから0.77ドルへと68％削減したと公表した。

• 削減効果の約40％はコード改修や最適化によるもので、残りは採用モデルの見直しやエフォート調整によるものだという。

• プロンプトの構造を見直して共通部分を分離し、初回のキャッシュヒット率を14〜26％から91〜99.5％へ向上させた。

• 実行基盤を「OpenCode v2」へ移行したことなどにより、レビュー所要時間の中央値も4分09秒から1分32秒へ短縮した。

• 米Cloudflareは2026年10月19日、社内で運用するAIコードレビューシステムにおける推論コストを直近ピークから68％削減したと公式ブログで発表した。モデルの高性能化に伴いレビュー費用が一時約2倍に高騰していたが、プロンプトキャッシュの最適化や基盤刷新によって大幅なコスト削減と処理高速化を同時に実現したという。あわせて、レビュー完了にかかる所要時間の中央値が従来の3分の1近くまで短縮されたことも明らかになった。

モデル移行と変更規模の拡大でコストが倍増

同社が2026年4月に公開した当初、AIコードレビューにかかる平均コストは1回あたり1.19ドルだったが、8月末には約2.46ドルに達していた。平日の平均費用も3月の1.22ドルから8月には2.32ドルへ上昇。モデルの進化に伴いエンジニアが複雑なコード変更を作成するようになり、最上位の「フルレビュー」階層に分類される割合が59％から65％へ増加したことも影響したという。

だが最大の要因は使用モデルの変更だった。8月初旬にレビュアーをAnthropic製モデルへ全面移行したことで、1ジョブあたりの費用は1.38ドルから2.03ドルに増加。特に社内標準を検証する「Codex」にClaude Opus 4.7を採用した結果、単体費用が0.25ドルから0.88ドルへ急騰した。さらに消費トークン数も従来の3倍以上となる299万トークンに達し、キャッシュ読み取り費用が積み上がっていた。

支出の8割を占めるキャッシュ関連費用と課題

トークン消費の実態を分析したところ、出力トークンは約23％にとどまり、キャッシュ書き込みが43％、読み取りが34％を占めていた。費用の大半が、一度処理したコンテキスト情報に費やされていた形だ。

コード品質レビュアーは1レビューあたり平均16.6回のLLM（大規模言語モデル）呼び出しを行い、毎回会話全体を送信するため、セッション全体で7万2000トークンを書き込み、108万トークンを読み戻していた。Anthropicのプロンプトキャッシュ（事前計算したプロンプトを保持し、再計算を省いてコストを抑える仕組み）は会話冒頭のプレフィックスでのみ機能する。そのため、セッション初回の要求で確実にキャッシュを読ませることと、呼び出し回数の削減が課題となった。

プロンプト構造の分割でリポジトリ間キャッシュを共有

調査の結果、初回のLLM呼び出しにおけるキャッシュヒット率は14〜26％と低迷していた。全リポジトリ共通のツール定義やプロンプト（1万1000〜2万1000トークン）があるにもかかわらず、リポジトリ間での再利用ができていなかった。

原因は旧基盤「OpenCode v1」の仕様にあった。エージェントプロンプトと環境情報（作業ディレクトリや日付）を1つのブロックにまとめ、末尾にのみブレークポイントを置いていたため、固有情報が混ざりキャッシュを共有できなかったのだ。

そこで9月16日、プロンプト末尾にマーカーを追加してブロックを分割。共通部分を独立させて個別のブレークポイントを設けた。さらにツール定義を固定して固有要素を排除したことで、初回のキャッシュヒット率は91〜99.5％へ飛躍的に向上した。

基盤刷新と68％のコスト削減・高速化を達成

あわせて同社は、実行基盤をゼロから再構築された「OpenCode v2」へと移行した。新旧システムを並行稼働させるシャドウモード（本番入力を双方に流して検証する手法）で承認判定の一致率が98％に達したことを確認し、10月初旬に全環境を一括移行。同一モデルによる比較で、最上位階層のレビュー完了速度は約13％向上したという。

これらの最適化により、高いコード品質を維持しながら、平均レビューコストは直前ピーク時の2.43ドルから0.77ドルへと68％減少した。削減分の約40％はコード改修や最適化によるもので、残りはモデル選定や投入エフォートの調整によるものだとしている。さらに、レビュー時間の中央値も4分09秒から1分32秒へと短縮された。

なお同社は現在、ステートを保持できる「Durable Objects」を活用し、「pi-durable」を用いた単独稼働の実験も進めていると述べている。