Webトラフィックの過半数が非人間に　CloudflareがAIエージェント急増と新たな制御・課金対応を発表

要点

• Cloudflareのネットワークにおいて、Webトラフィックの過半数が人間以外によるアクセスとなり、AIエージェントによる日次リクエストは過去1年で1,700%以上増加した。

• 検索に代わるAI要約の普及により、小売や金融など一部業種では人間のサイト訪問が1年未満で最大40%減少し、サイト運営者の収益低下とサーバー負荷増が課題となっている。

• 同社は暗号署名でボットを検証する「Web Bot Auth」や、検索登録を維持したまま学習のみを拒否する「Disallow AI Training」などの制御機能を提供している。

• AIエージェントを潜在的な顧客と位置づけ、アクセスの単なる遮断ではなく対価を請求できる新たな課金モデルの整備が進められている。

• 米Cloudflareは2026年9月30日、同社公式ブログにおいて、インターネットトラフィックの過半数が人間以外のアクセスになったと発表した。人間の代理としてWebを巡回するAIエージェントからのリクエストが急増する一方、人間の直接訪問が減少してWebサイトの収益構造が圧迫されている現状を報告し、ボットの識別・制御技術や新たな収益化の枠組みを説明している。

トラフィック倍増と「第2のオーディエンス」の到来

Cloudflareが処理するトラフィック規模は急速に拡大している。2024年末時点では毎秒平均6,300万件だったHTTPリクエスト数が、現在はほぼ倍増となる毎秒平均1億1,500万件に達し、ピーク時には毎秒1億5,000万件超を記録しているという。なかでもAIエージェントからの日次リクエスト数は、過去1年間で1,700%以上の急増を見せた。

同社はこの変化について、人間のWeb利用が縮小したのではなく、人間の代理として動作するソフトウェア「エージェント」という第2のオーディエンス（利用者層）が加わったためだと説明している。従来のボットとは異なり、エージェントの背後にはタスクを指示した人間が存在するため、適切に対応すれば新たなビジネス価値をもたらす存在になり得ると指摘している。

人間トラフィックの減少とサイト運営コストの増大

一方で、AIの台頭は従来のWebビジネスモデルを揺るがしている。過去30年間、Webサイトは検索エンジンのクローラー（自動巡回プログラム）を受け入れて訪問者を獲得し、広告や定期購読で収益化してきた。しかし、質問に対してAIが直接要約を返す回答エンジンの普及により、利用者が直接サイトを訪れないケースが増加している。

特に巡回が集中する小売、コンピュータソフトウェア、IT・サービス、金融サービスなどの分野では、人間のトラフィックが1年足らずで最大40%減少した。これにより、リクエストあたりの収益が低下する一方、帯域幅やサーバー計算資源などのコストのみが増大する状況が生じている。クローラー全体に占めるAI学習目的の割合も、2025年春の22%から2026年6月には52%へ拡大したという。

一律遮断から「識別と利用条件の設定」へ

Cloudflareは、すべての自動アクセスを一律に遮断することは適切ではないとしている。レストラン予約や保険見積もりの比較を代行するエージェントは実質的な顧客であり、これらを遮断することは背後の利用者を締め出すことにつながるためだ。エージェントのアクセスは週間のリズムや夏季休暇など、人間の行動パターンに連動して変動する特徴を持つ。

そこで同社は、ボットの挙動を可視化し制御するツール群を展開している。「AI Crawl Control」「Business Insights」「BotBase」で挙動を把握できるほか、「Web Bot Auth」ではOpenAI、Google、AWSなどの事業者がリクエストに暗号署名（送信元の正当性を電子的に証明する技術）を行うことで、なりすましを防いでいる。現在、同社は毎週5,000億件以上の検証済みボットリクエストを処理しているという。

さらに7月には、検索・エージェント・学習を個別に制御できる設定を全プランに提供した。同社によると検索クローラーを拒否するサイトは1%未満だが、学習を拒否するサイトは17%に上る。9月15日には検索インデックスへの登録を維持しつつ学習利用のみを拒否する「Disallow AI Training」を提供し、Apple、Google、Microsoftが遵守を表明している。

「Agentic Internet」と課金モデルの構築

同社は2026年8月に提示した「Agentic Internet」の構想において、機械が読み取れ（Readable）、発見でき（Discoverable）、機能を呼び出せ（Callable）、課金できる（Payable）という4つの要素を挙げている。特にWebが自立的に存続するためには、アクセスの単なる可否ではなく「対価が支払われるなら許可する」という課金モデルの確立が不可欠であると強調する。

2023年以降、大手出版社とAI企業間で50件以上のライセンス契約が締結されているが、大半は個別の相対取引にとどまる。同社は、高価値なコンテンツやデータセットを安全に取引可能にし、Webサイト運営者がAIエージェントに対して適切に対価を請求できる環境整備を進める方針を示している。