Cloudflare、認証済みボットの行動を継続監視する評価システムを発表――robots.txt順守やレート制限への応答をスコア化

要点

• 米Cloudflareは2026年10月16日、身元確認済みの「Verified bot（認証済みボット）」がサイト側の指示を一貫して順守しているかを継続的に評価・報告する新システムを発表した。

• 本システムは単発のリクエストによる「リスク」と長期的な行動履歴に基づく「信頼」を明確に区別し、事後的な挙動の逸脱を可視化する。

• 評価の初期シグナルとして、robots.txtに明記されたクロール制限の順守状況と、HTTP 429（過剰リクエスト）通知に対するアクセスペースの緩和対応を測定する。

• 測定結果はボットごとの「信頼バンド」として算出され、将来的には同社の分析プラットフォーム「Cloudflare Radar」上で一般公開される予定である。

• 米Cloudflareは2026年10月16日、正規ボット認定制度「Verified bot」を対象に、サイト運営者の意図を継続的に尊重しているかを測定・評価する新たな仕組みを発表した。従来の身元確認にとどまらず、認定後の実際の振る舞いを追跡することで、過剰な負荷や設定無視などの問題行動を早期に検知する狙いがある。収集された評価データは段階的な信頼スコアとして算出され、今後同社の分析基盤を通じて外部へ公開される見通しだ。

認証後の挙動に着目――「リスク」と「信頼」を分離

Cloudflareが提供するVerified bot制度では、クローラーなどの自動巡回プログラムに対して「正確かつ安全な身元確認」「公表内容に沿った動作」「迷惑・不正行為を行わないこと」の3条件を求めている。ボット運営者はリクエストに暗号署名を行うWeb Bot Auth（ボットが送信元を偽装せず正規の運営者であることを証明する技術仕様）を用いて身元を証明し、その情報はBotBaseと呼ばれる公開カタログに集約される仕組みが整えられていた。

しかし、身元が正規に証明されているボットであっても、設定ミスやプログラムの不具合によってサイト側に予期せぬ負荷をかけたり、クロール設定を無視してアクセスしたりする事態は発生する。Cloudflareはこの課題に対し、「ある特定時点のアクションが害を及ぼす可能性」を指す「リスク」と、「長期にわたる一貫した行動の積み重ねによって形成される関係性」を指す「信頼」を切り離して管理する方針を示した。

同社は過去の具体例として、2025年にAI検索エンジンを手がけるPerplexityのボットを認定リストから除外した事例に言及している。この事案では、スクレイピング拒絶を表明していたサイトへボットがアクセスを試み、リクエストが遮断された際に迂回を試みたことが問題視され、認定取り消しに至ったという。身元の正当性だけでなく、行動の継続的な正当性を担保する必要性が浮き彫りになっていた。

評価の基準となる「信頼バンド」と2つの初期指標

今回導入された新システムでは、各ボットがサイト側の指定をどれだけ忠実に尊重しているかを観測し、「信頼バンド（trust band）」と呼ばれる範囲形式の指標へ変換する。この指標は特定ボットに対する恒久的な断定ではなく、観測された実績の根拠とともに、一貫してルールを守り続けている度合いを示す客観データとして機能する。

初期フェーズにおいてシステムが収集・評価するシグナルは、大きく分けて以下の2点である。

第1のシグナルは、「サイト運営者が出した指示の順守」である。ウェブサイトは主にrobots.txt（検索エンジンなどの巡回ボットに対してサイト内の収集許可範囲を伝える設定ファイル）を配置し、アクセス可能な範囲を宣言する。新システムでは、RFC 9309（robots.txtの構文および動作仕様を定めた標準規格）に沿い、ボットのトラフィックが長期間にわたってこの設定と整合しているかを監視する。偶発的な1回きりのアクセス逸脱は直ちに重大違反とはみなされず、設定を繰り返し無視するパターンが存在するかどうかが重視される。また同社は、robots.txtに明記されていない領域であっても無制限のアクセスが許可されているわけではないと補足している。

第2のシグナルは、「サイト側からの直接的なフィードバックへの適応」である。巡回が許可されているパスであっても、短時間に大量のアクセスが集中すればサーバーに大きな負荷がかかる。サイト側はこれに対し、HTTP 429（サーバーが過剰なリクエストを受けた際に送信頻度の抑制を求めるステータスコード）を返し、再試行までの待機時間を指示することがある。新システムは、この通知を受け取ったボットが巡回速度を落としたり一時停止したりして負荷軽減に応じたかを測定する。適切にトラフィックを抑制した場合は信頼評価が向上し、逆に通知を無視して同一ペースでリクエストを送り続けた場合は評価が低下する。

今後の展望とエコシステム連携

Cloudflareは、こうした評価スコアを将来的に「Cloudflare Radar（インターネット全体のトラフィック傾向や脅威動向を可視化する同社の公開分析基盤）」で誰でも閲覧できるようにする計画だ。あわせて、測定対象とする評価シグナルの種類も順次拡大していくとしている。

これにより、誠実な運用を行っているボット運営者は自社の信頼性を客観的に証明できるようになり、サイト運営者は自環境に到達する自動化トラフィックの素性と挙動を正確に把握した上でアクセスの可否を判断できるようになる。本システムは、同社が展開するBot Preference SyncやBot Managementと密接に連携し、自動巡回トラフィックに対する包括的な説明責任ループを構築していくという。