トップ›検索結果・購買導線の変化›この記事
Cloudflare、検索クローラーを止めずにAI学習だけを拒否する設定を提供開始
背景
従来のAIクローラー対策は「ブロックするか否か」の二択で、AI学習を拒否しようとすると検索用のクローラーまで止まる恐れがあった。GooglebotとGoogle-Extendedのようにクローラーが分離されていない場面もあり、実務上は扱いにくい状態が続いていた。
結論
- Cloudflareが2026年9月15日、「Disallow AI Training」という設定の提供を開始した。
- この設定はAIモデルの学習用途のアクセスだけを拒否し、検索用クローラーのアクセスは維持する。
- 従来の「Block」設定は検索クローラーを含むすべてのクローラーを止める挙動であり、両者は明確に区別された。
- 対象として挙げられているのはGooglebotとGoogle-Extended、ApplebotとApplebot-Extended、Bingbotなどである。
- MicrosoftはBing ChatとCopilotについて、robots.txtでの学習拒否対応を2027年初頭に予定している。
- Cloudflare自身も、AIによる要約の可否を制御する仕組みを2027年初頭までに実現することを目標としている。
- 同社は「大半の顧客は何も変更する必要はない」としている。
メッセージ
「AIに使われたくない」と「AIに見つけてもらいたい」は別の要求であり、ようやく設定として分離された。EC事業者にとって重要なのは後者で、学習拒否の設定を雑に入れると、AI検索の回答候補から自社の商品が丸ごと抜け落ちる事故が起こりうる。クローラーの名前ごとに挙動が違う以上、自社サイトがどのクローラーに何を許しているかを一度棚卸ししておく価値がある。見つけてもらえない状態は、設定ミスでも簡単に作れてしまう。