Cloudflare、検索露出を維持したままAI学習を拒否できる新設定を発表――Apple・Google・Microsoftが対応

要点

• Cloudflareは、Webサイトの検索インデックス登録を維持しつつAI学習のみを拒否できる新設定「Disallow AI Training」を発表した。

• 検索とAI学習を同一のボットで行う「複合用途クローラー」に対し、検索トラフィックを損なわずに学習のみをオプトアウトできる手段を提供する。

• Apple、Google、Microsoftの3社が、学習拒否を尊重し検索結果に悪影響を及ぼさないことを含む認定要件への準拠および対応を表明した。

• 従来の「Block」設定は検索用ボットも遮断対象に含まれる仕様に変更され、既存の「Block AI Bots」機能は順次新システムへ統合される。

• 米Cloudflareは2026年9月15日、Webサイトの検索エンジンによる発見性を維持したまま、AIモデルの学習目的でのデータ収集のみを拒否できる新機能「Disallow AI Training」の提供を開始したと発表した。検索とAI学習の双方を担う主要事業者のクローラーに対し、検索流入の機会を失うことなくAI学習へのデータ提供を遮断できる環境を整える。すでにApple、Google、Microsoftの大手3社が同機能への対応または対応への確約を示しているという。

検索露出とAI学習拒否の二者択一を解消

多くのWebサイト運営者にとって、検索エンジンからのアクセス流入は広告収入や購読モデルを維持する上で不可欠であり、Cloudflareを利用するサイトのうち検索ボットをブロックしている割合は1%未満にとどまる。一方で、AIモデルのトレーニング目的でのデータ収集に対しては、17%のサイトが何らかのブロック措置を講じている実態がある。

しかし、大手テック企業は検索用インデックスの作成とAI学習用データの収集を単一のボット（複合用途クローラー）で兼ねているケースが多い。そのため、サイト所有者は「AI学習を許可して検索に載せるか」「AI学習を拒否して検索結果からも消えるか」という厳しい二者択一を迫られていた。さらに、サイト側が robots.txt（検索エンジンの巡回可否を指示するファイル）で拒否を宣言しても、誰が何の目的で巡回しているかを判別したり、指示を無視するボットを強制的に停止させたりすることは困難だった。

新設定「Disallow AI Training」の仕組み

Cloudflareは、ボットの振る舞いを「検索（Search）」「学習（Training）」「エージェント（Agent：人間の指示で閲覧するボット）」の3つに分類してドメイン単位で制御する仕組みを導入した。

新機能の「Disallow AI Training」を適用すると、新システム「Bot Preference Sync」を通じて robots.txt に非学習の指示が公開される。Cloudflareの基準を満たした複合用途クローラーについては検索目的のクロールのみを許可し、それ以外の学習専用クローラー（Amazon、Anthropic、Meta、OpenAIなど）はネットワーク側で自動的に遮断される。これら学習専用ボットの遮断は検索露出に影響しないため、サイトの認知度を落とさずに保護できるとしている。

大手3社が合致した認定制度「Accountable」

Cloudflareは2026年7月以降、クローラーを運用する各社と直接協議を重ね、サイト所有者の選択を尊重する事業者を「Accountable」として認定する枠組みを策定した。この認定を受けるには、以下の要件を満たすか、期限を定めて実装を約束する必要がある。

1. robots.txt などを通じたAI学習のオプトアウト手段を提供すること
2. AI要約（AI summaries）からのオプトアウト手段を提供すること（現在は直接設定、来年初頭からはCloudflare経由でも設定可能に）
3. どのURLが学習用に提供されたかの可視化と、検索での表示メトリクスを提供すること
4. AI学習を拒否しても従来の検索結果・順位に影響を与えないと保証すること

Apple、Google、Microsoftの3社は、現在提供している機能と今後の開発コミットメントにより、この認定要件を満たしていることが確認された。

管理設定の刷新と仕様変更

今回の発表に伴い、2026年9月15日付でボット管理機能の仕様が一部変更された。

「Block」および「Block on pages with ads（広告掲載ページでの遮断）」の設定は、Applebot、Bingbot、Googlebotなどの複合用途クローラーにも適用されるようになった。そのため、これらの設定を選択すると検索結果にも影響が及ぶ。検索性を保ちながら学習のみを阻止したい場合は、新設された「Disallow AI Training」を選択する必要がある。

また、従来の「Block AI Bots」や「Managed Robots.txt」は非推奨となり、新体系へ移行される。既存ユーザーの設定は自動的に引き継がれるため、大半のケースで手動の作業は発生しないと説明している。

今後のロードマップ：AI要約の詳細制御とエージェント対応

Cloudflareは次の課題として、検索結果などに表示されるAI要約への対応を挙げている。サイト全体での一括拒否だけでなく、コンテンツが要約にどれだけ引用されるかをCloudflare上で一括設定できる機能を、来年初頭を目標に導入する予定だ。

また、ユーザーの指示で動作するエージェントボットに関しては、検索性とのトレードオフが生じないことや業界標準の策定途上であることから現時点ではDisallow設定の対象外としているが、標準化（ai-prefs など）の進展に合わせて対応を検討していくとしている。