Ahrefs、AIボットと検索エンジンボットのクロール状況を比較調査
原題: Meet the New Web Crawlers: AI Bots Are Closing in on Search Engine Bots
背景
AI検索の普及に伴いAIボットによるサイトへのクロールが急増している一方、それが従来の検索エンジンボットとどの程度の規模になっているのか、実態が可視化されていなかった。これを受けAhrefsは、公開データであるCloudflare Radarの情報を用いて、AIボットと従来の検索エンジンボット・SEOツールボットのクロール状況を定量的に比較調査した。
結論
- 全ボットリクエストに占める割合は、検索エンジンボットが34.6%、AIボットが18.9%、SEOツールボットが7.9%となっている。
- AIボットは2025年5月時点で全ボットリクエストの約25%まで拡大しており、検索エンジンボットに次ぐ規模になった。記事は「数年以内に検索エンジンボットを上回る可能性がある」と指摘している。
- 個別ボットでは、OpenAIの「GPTBot」とAmazonの「Amazonbot」がBingbotに匹敵するクロール率で急成長している一方、Googlebotは依然として全ボットの中で圧倒的な存在感を保っている。
- SEOツールのボットでは「Ahrefsbot」が、他の20種類のSEOボットを合計したのと同程度のリクエスト数を記録しており、突出した規模になっている。
- クロールトラフィック全体の約53%が「無駄なクロール（実際のコンテンツ更新に結びつかないアクセス）」とされる一方、AI検索経由の実際のサイト流入はサイト全体のトラフィックのわずか0.1%にとどまる。クロール量の多さが必ずしも流入増に直結していない実態が示されている。
メッセージ
「AIボットに大量にクロールされている」という事実だけでは、売上や来店にはまだつながっていないというのがこのデータの核心である。クロール数0.1%という紹介流入の少なさは、多くの店舗にとって「AI検索対策はまだ結果が出る段階ではない」という冷静な現状認識にもなる。だからこそ今は、クロールされているかどうかに一喜一憂するのではなく、商品情報が正しく・矛盾なく機械可読になっているかを地道に整えておく準備期間だと捉えるのが実務的な姿勢になる。