Cloudflare、AIクローラーによるWebサイトへの影響を可視化する「Attribution Business Insights」を提供開始
要点
- Cloudflareは、Webサイトに流入するボットトラフィックを可視化・分析する新しいダッシュボード「Attribution Business Insights」を発表しました。
- 新しいダッシュボードは、同社のボット対策サービスである「Cloudflare Bot Management」を利用するすべての顧客向けに提供が開始されています。
- AIクローラーによる情報収集と実際のサイト誘導率の乖離を数値化し、サイト運営者がコンテンツ保護の意思決定を客観的に行えるよう支援します。
- サイト全体だけでなく、ボット運営企業ごとの「クロール・トゥ・リファラル比率」や、ボットが消費する帯域幅などを確認することができます。
リード文
米Cloudflareは2026年7月1日、Webサイト運営者がボットトラフィックの詳細を分析・管理するための新しいダッシュボード「Attribution Business Insights」の提供を開始したと発表した。この機能は、AIクローラーがWebサイト運営に与える影響を具体的な数値で可視化し、ビジネス上の意思決定を支援することを目的としている。現在、同社のボット対策サービス「Cloudflare Bot Management」を契約しているすべてのユーザーが利用可能となっている。
本文
インターネット経済の変容と「暗黙の了解」の崩壊
Cloudflareは、インターネットのビジネスモデルが数十年にわたり、検索エンジンがコンテンツをクロール（自動巡回して情報を収集すること）する代わりに、検索結果を通じて読者を元のWebサイトへ送り返すという「暗黙の合意」によって成り立ってきたと説明している。従来のSEO（検索エンジン最適化：検索結果で上位に表示させるための技術）時代には、このクロール数と実際の誘導数のバランスが維持されており、Webサイト運営者が広告収入や購読料といった収益を得るための安定した経路として機能していた。
しかし、AIクローラーやAIエージェントの急速な台頭により、この契約関係が崩壊しつつあるという。生成AIなどのチャットボットが元のコンテンツをスクレイピング（Webサイトからデータを抽出すること）し、直接回答を合成してユーザーに提示することで、元のWebサイトを経由しない「ゼロクリック」のエコシステムへと移行し始めている。これにより、デジタル出版業界では従来のSEOから、AEO（回答エンジン最適化：AIの直接回答に選ばれるための対策）や、GEO（生成エンジン最適化：生成AIの検索結果に引用されやすくする手法）へのシフトが議論されるようになっている。
不公平な「クロール・トゥ・リファラル比率」
Cloudflareが指摘する最大の課題は、「クロール・トゥ・リファラル比率」（クローラーがサイトを訪問した回数に対し、実際にユーザーをサイトへ誘導した回数の割合）の極端な不均衡である。従来の検索エンジンに比べ、主要なAI企業のクローラーは抽出規模が大きく、同社が2025年の「Content Independence Day」前後に観測したデータによると、主要AIクローラーの同比率は「118:1」から最大で「約50,000:1」に達していたという。これは、AIクローラーがWebサイトの有料あるいはプレミアムなコンテンツを数万回も巡回しておきながら、元のサイトに送り返した訪問者はわずか1人であることを意味している。
Webサイト運営者にとっては、自サイトのコンテンツが消費されることで得られるはずの広告表示回数や直接的な顧客関係が失われるだけでなく、無価値な自動クローラーによるアクセスを処理するために、サーバーなどのインフラコストを負担し続けなければならないという二重の打撃となっている。同社は、「発見されることを期待してすべてのクローラーのアクセスを許可する時代は終わった」と述べている。
新ダッシュボードの機能と提供価値
こうした現状に対し、Webサイト運営者が客観的な数値に基づいてどのボットが自社ビジネスに寄与し、あるいは害を及ぼしているかを判断できるようにするため、同社は「Attribution Business Insights」を開発した。
ダッシュボードでは、以下の主要なデータと洞察が提供される。
- コンテンツページへのボットトラフィック: 人間とボットのトラフィック割合や、コンテンツに正常にアクセスしたすべてのボットのボリュームを視覚的に表示する。
- クロール・トゥ・リファラル比率: サイト全体の比率を24時間、7日間、30日間の期間スケールで確認できる。さらに、ボットを所有する企業（ボットオペレーター）ごとの比率も個別に出力される。
- トップボットの内訳: アクセス量が多い上位のボットをリスト化し、その発信国やWebサイト上で消費している帯域幅（通信データの量）、現在そのボットをブロックしているかどうかのステータスを表示する。
Cloudflareは、Webサイトの所有者には自身のコンテンツへのアクセスを制御する権利があると主張しており、今回のダッシュボードの導入によって、パブリッシャーや企業の意思決定者がAIトラフィックを詳細に把握し、適切な対策を講じられるようサポートしていくとしている。