CloudflareがAIトラフィックの新たな管理オプションを発表　「検索」「エージェント」「トレーニング」の3分類で柔軟な制御が可能に

要点

• Cloudflareは、AIクローラーによるアクセスを挙動や目的に応じて詳細に制御できる新機能を発表しました。
• 新たな分類手法として、AIのユースケースを「検索（Search）」「エージェント（Agent）」「トレーニング（Training）」の3つに定義しています。
• Webサイト運営者が「すべての自動化をブロックする」か「無制限に許可する」かの二者択一を避けるための選択肢を提供します。
• クローラーを運用する企業に対しては、透明性確保のために目的ごとにクローラーを個別に分離することを強く推奨しています。
• この新しい制御オプションは、無料プランを含むCloudflareを利用するすべてのWebサイト運営者に提供されます。

リード文

米Cloudflare（クラウドフレア）は2026年7月1日、同社のネットワークを利用するすべてのWebサイト運営者を対象に、人工知能（AI）関連のクローラー（Web上の情報を自動的に巡回して収集するプログラム）によるトラフィックをより詳細に制御できる新しい管理オプションを発表した。従来の「一括ブロック」から移行し、ボットの具体的な挙動や目的に応じた柔軟な設定を可能にする。本機能は、同社の無料プランの顧客を含むすべてのユーザーに対して提供が開始される。

1年前の取り組みとWebサイト運営者が直面する課題

Cloudflareは1年前の2025年7月に最初の「コンテンツ独立記念日（Content Independence Day）」を宣言し、Webサイト上のコンテンツを保護するための「AIボットのブロック」機能と、対価を支払う「Pay-Per-Crawl」のマーケットプレイスを立ち上げた。当時はAIトレーニングを遮断することに議論が集中していたが、この1年でWebサイト運営者のニーズは変化している。

現在、コンテンツ所有者はオリジナルコンテンツを保護し、対価を得たいと考えつつも、「すべての自動化を常に遮断する」以外の選択肢を求めている。特に小規模なWebサイトの場合、AIモデルへの学習を防ぐためにクローラーを拒否すると、検索結果にインデックス（検索エンジンが情報を検索できるように整理・登録すること）されず発見すらされなくなるという困難な二者択一を迫られていた。これが既存の検索プロバイダーに不当な優位性を与え、新興AI企業が検出を回避する行動をとる原因にもなっているという。

AIの定義変化と新たな3つの分類

また、Googleの検索サービスが検索結果ページで直接質問に回答する「回答エンジン（full answer engine）」へと移行しつつあるように、検索全体のあり方も変化している。

こうした変化を踏まえ、Cloudflareはボットが「AIかそうでないか」という単純な分類をやめた。代わりに、ボットがWebサイト上で「どのような行動をとっているか」「何を保存しているか」「取得したコンテンツをどのように再共有するか」という、具体的な挙動に着目した新しい分類手法（タクソノミー）を導入した。この新しいアプローチにおいて、同社は運営者が管理すべきAIのユースケースを以下の3つのカテゴリーに整理した。

• 検索（Search）：コンテンツを収集・整理し、後でユーザーからの問い合わせに答えるためのデータベースを事前に構築する挙動。サイト運営者側には、参照トラフィック（検索結果からのリンク遷移）やその他の公平な補償がもたらされることが期待される。
• エージェント（Agent）：ユーザーに代わってリアルタイムでタスクを実行するために動作する自動プログラム。「ChatGPT-User」などのチャット用ボットや、GeminiやClaudeによってブラウザを操作するエージェントなどが該当する。通常、エージェントの後ろには作業結果を待っている人間のユーザーが存在する。
• トレーニング（Training）：モデルの学習やファインチューニング（既存のAIモデルに特定の追加データを学習させて微調整すること）のためにコンテンツを収集するクローラー。データはAIの基本構造に永久に吸収される。

クローラーの透明性確保と新機能の適用

Cloudflareは、多くのクローラーがこれら3つのカテゴリーのいずれか、または複数にまたがって分類されると説明する。同社は検索、エージェント、トレーニングの3つの用途すべてで自動化を行う企業に対し、それらを個別のクローラーに分離することを強く推奨している。クローラーが機能ごとに分離されれば、運営者はクローラーが訪れた目的をより正確に理解し、適切なアクセス管理ができるようになるためである。

これまで提供されていた「AIボットのブロック」設定は、主にモデルトレーニング目的の単一機能ボットを遮断するものだった。今回のアップデートにより、無料プランを含むすべてのWebサイト運営者は、「検索」「エージェント」「トレーニング」という3つの主要なユースケース別に、AIトラフィックを詳細に制御できるようになる。