CloudflareとOpenAI、AI検索を効率化する実験成果を発表　ネットワークの1%活用で数億ページを新規登録

要点

• CloudflareとOpenAIが、AI検索の効率化を目的とした共同研究の初期成果を公表した。

• ネットワークの約1%を活用し、ChatGPTの検索対象へ数億規模のウェブページを新たに追加した。

• ボットや重複ページを事前除外することで、サーバー負荷を抑えつつ巡回効率を向上させた。

• 改ざんされた単一ページのみを除外する技術で、ドメイン全体をペナルティから保護する。

• 共有データは検索・発見用のメタデータに限定され、モデルの学習用データではない。

• 米Cloudflareと米OpenAIは2026年10月15日、ChatGPTによるウェブコンテンツの発見を効率化する共同研究の初期成果を発表した。Cloudflareのネットワークシグナルを活用し、埋もれがちな有用ページを効率的に収集する試みだ。検証規模はネットワーク全体の約1%ながら、すでに数億ページの新たなウェブページがOpenAIの検索インデックスに追加されたという。

ネットワークの1%から数億ページをChatGPTのインデックスに追加

両社が2026年7月に開始した共同パイロットは、Cloudflareの総トラフィックの約1%にあたる参加コホート（共通の特性を持つグループ）を対象に実施された。この限定的な規模から得られたシグナルを基に、OpenAIのクローラー（ウェブを自動巡回するプログラム）は未登録だった数億ページものウェブページを特定し、検索対象としてインデックス化した。

OpenAIは収集したページの有用性を独自に評価・順位付けしている。ChatGPT Searchでは回答とともに出典元リンクが提示され、利用者が元のコンテンツやパブリッシャー（情報発信者）を直接訪れる動線が確保される。OpenAIの最新モデル「GPT-6」や対話画面を刷新する「Intelligent UI」とも連携し、買い物や学習などでより実用的な情報提供を可能にしていると説明している。

AI時代に求められる「ニッチだが有用な情報」の掘り起こし

従来の検索における見つけやすさ（ディスカバリティ）は、検索結果の上位に表示され、訪問した人間が内容を判断することを意味していた。しかし、AIを介して情報探索を行う現代ではその役割が変化している。

ウェブ上には、家電の修理マニュアルや申請手続き、飲食店の営業時間など、被リンクが少なくても利用者にとって価値の高い情報が無数に存在する。AIがこうしたニッチで正確な情報源を特定し、回答や引用として提示するには的確なインデックス化が欠かせない。今回のパイロットは、埋もれた有用なページを掘り起こす上で効果を上げているという。

ボットトラフィックの遮断と変更シグナルによる負荷軽減

URLを発見しても、そのページが閲覧可能で独自の情報を持つかを見極める必要がある。検証では、ボットによって存在しないページが要求されて注目されているように見えたり、トップページへの転送や重複ページが存在したりする実態が確認された。これらを事前に識別するシグナルにより、クローラーがデータをフェッチ（取得）する前に不要な巡回を遮断し、無駄な処理を削減できたという。

全ページの一律巡回はサイト運営者の負荷を増やし、AI事業者の計算資源も浪費する。更新状況を伝える「変更シグナル」により、再訪タイミングを判別して鮮度維持と負荷低減の両立を図っている。

侵害ページのピンポイント除外とサイト運営者の権利保護

安全な情報発見に向け、潜在的に有害なページを特定するシグナルの試験も行われている。正当なサイトでも、偽ログインフォームが設置されるなど単一ページのみが侵害されるケースがある。ドメイン全体を除外するのではなく、問題のページのみをインデックスから排除することで、安全性を保ちつつ運営者に不利益を与えない仕組みを目指す。

また、サイト所有者の管理権限が尊重される点も明記された。シグナル提供はアクセス許可を意味せず、扱われる情報も検索用のメタデータ（属性情報）に限定され、モデルの事前学習用ではない。運営者は「Cloudflare AI Crawl Control」（AIクローラー制御機能）を通じ、自社サイトへのAIアクセスを把握・管理できる。

今後の展開

両社は次のフェーズとして、対象ページの選定精度の向上や、より高速で信頼性の高い変更シグナルのテストを進める。さらに、コンテンツがAIに発見された後の動向を測定し、実社会のビジネス成果へどう結びつくかの検証を継続して報告していく方針だ。