Cloudflare 9月15日切换AI爬虫默认策略：开了AI训练拦截的站点，可能把Googlebot一起挡在门外

核心速览：9月15日起Cloudflare启用AI爬虫新默认策略：展示广告的页面默认拦截Training和Agent两类爬虫，且所有AI训练拦截配置会连带拦截Googlebot等混合用途爬虫，用Cloudflare的独立站需要立即检查Security Settings。

新规到底改了什么？

Cloudflare官方文档确认：9月15日起，新域名、新站点默认启用新的AI爬虫策略——在展示广告的页面上拦截Training（训练）和Agent（代理）两类爬虫，Search（搜索）类放行。同时，旧版”Block AI bots”开关在同一天废弃。官方还给了一个时间窗：9月15日之前所有客户可以主动选择退出新默认值。

为什么可能误伤Googlebot？

坑在”混合用途爬虫”的定义上。有些爬虫既做搜索索引又做AI训练，Googlebot正是典型。按新规则，所有用于拦截AI训练的配置——包括旧的”Block AI bots”——都会把这类混合爬虫一并拦截。换句话说，你之前开过AI训练拦截又没调整，Google的抓取从今天起就可能受影响，而搜索流量下滑往往要几周后才在数据里显形。

怎么自查和设置？

路径：Cloudflare后台 → Security Settings → Configure AI bot policies，确认Search类爬虫为Allow；想防内容被白嫖训练，只拦Training和Agent即可，三种行为各有Block（全站）、Block on pages with ads（仅广告页）、Allow三档可选。在Google AI Overviews已整页自动展开的当下，爬虫配置错一格，丢的可能是整条流量入口。更系统的AI时代打法可参考从SEO到GEO的五步实操指南。

常见问题

Cloudflare会拦截Googlebot吗？

会。如果站点开启了拦截AI训练的配置（含旧版Block AI bots），Googlebot这类兼具搜索和AI训练用途的混合爬虫会被一并拦截，需在AI bot policies中将Search类爬虫设为Allow。

怎么既防AI白嫖又不影响SEO？

在Cloudflare的Configure AI bot policies中只拦截Training和Agent两类爬虫、放行Search类，广告页可单独用Block on pages with ads档位，9月15日前还可选择退出新默认值。

信息来源

本文信息经以下权威来源核实：Cloudflare官方文档 – Block AI Bots

{“@context”: “https://schema.org”, “@type”: “NewsArticle”, “headline”: “Cloudflare 9月15日切换AI爬虫默认策略：开了AI训练拦截的站点，可能把Googlebot一起挡在门外”, “datePublished”: “2026-09-15”, “dateModified”: “2026-09-15”, “image”: “https://images.unsplash.com/photo-1558494949-ef010cbdcc31?w=1200&q=80”, “inLanguage”: “zh-CN”, “description”: “Cloudflare 9月15日启用AI爬虫新默认策略：含广告页面默认拦截Training和Agent类爬虫，混合用途爬虫（如Googlebot）将被所有AI训练拦截配置一并拦截，独立站需立即检查Security Settings。”, “author”: {“@type”: “Organization”, “name”: “星火跨境”}, “publisher”: {“@type”: “Organization”, “name”: “星火跨境”}}{“@context”: “https://schema.org”, “@type”: “FAQPage”, “mainEntity”: [{“@type”: “Question”, “name”: “Cloudflare会拦截Googlebot吗？”, “acceptedAnswer”: {“@type”: “Answer”, “text”: “会。如果站点开启了拦截AI训练的配置（含旧版Block AI bots），Googlebot这类兼具搜索和AI训练用途的混合爬虫会被一并拦截，需在AI bot policies中将Search类爬虫设为Allow。”}}, {“@type”: “Question”, “name”: “怎么既防AI白嫖又不影响SEO？”, “acceptedAnswer”: {“@type”: “Answer”, “text”: “在Cloudflare的Configure AI bot policies中只拦截Training和Agent两类爬虫、放行Search类，广告页可单独用Block on pages with ads档位，9月15日前还可选择退出新默认值。”}}]}