首页›知识库›GEO 外贸独立站›robots.txt 放行了 AI 爬虫,为什么日志里一次都没来?先查 CDN 这道隐形门
GEO 外贸独立站 · 实务文章

robots.txt 放行了 AI 爬虫,为什么日志里一次都没来?先查 CDN 这道隐形门

robots.txt 里明明写了允许 GPTBot、PerplexityBot、OAI-SearchBot 进来,翻了一个月的服务器日志,这些爬虫的抓取次数却是零。

robots.txt 里明明写了允许 GPTBot、PerplexityBot、OAI-SearchBot 进来,翻了一个月的服务器日志,这些爬虫的抓取次数却是零。这个症状在 2026 年的技术审计里被点名为头号隐患:问题多半不在 robots.txt,而在你前面那层 CDN 或 WAF——它对 AI 爬虫直接返回 403,你的网站根本没机会「说话」。本文给出确诊三步和白名单做法,外贸独立站按表自查。

robots.txt 放行了 AI 爬虫但日志零抓取的诊断封面:CDN 边缘 403 隐形阻断
放行了却不来,先查 CDN

一条完整的抓取链路:三层各管一段,断哪层症状不同

先把链路摆正,才知道该查哪一层。AI 爬虫从出发到你的内容被引用,中间至少经过三层:

层谁在管管什么断了的表现
权限层robots.txt声明「允许/禁止谁进来」爬虫遵纪守法,看到 Disallow 就不来
边缘层CDN / WAF / 防火墙真正执行「谁来直接挡回去」爬虫来了,但在门口收到 403 或验证挑战
内容层页面本身HTML 是否可解析、内容是否可提取爬虫进了门,读完提不出东西(见 Claude 和 Perplexity 不执行 JavaScript?用建站模板的外贸站要当心)

关键认知:robots.txt 是意向声明,不是执行层。你在权限层写了「欢迎光临」,边缘层的保安照样可以把客人拒之门外——而且保安不会告诉你,客人也不会投诉,你只能从日志里发现「说好的来访一次都没发生」。

这就是为什么「光改 robots.txt 不够」的排查要往深处走:三层里任何一层断了,最终症状都是 AI 不引用你,但修法完全不同。

「放行了但零抓取」的第一嫌疑:CDN 边缘的隐形 403

2026 年 11 月上旬的行业技术审计把这个问题摆到了台面上:大量网站在 robots.txt 里正确放行了 AI 搜索爬虫,日志里的抓取次数却为零,审计归因大部分指向 Cloudflare Bot Fight Mode 或类似安全插件的默认防御策略——在边缘层直接对 PerplexityBot、GPTBot 等返回 403 Forbidden,或者弹出人机验证挑战。

爬虫不会去填验证码,它收到 403 就走,而且大概率短期不再优先回来。对 AI 搜索引擎来说,你的站等于「不可达」——不是内容不好,是门没开。

这个坑之所以叫「隐形」,是因为它骗过了三层人:

谁被骗为什么看不出来
老板网站访问正常,前台页面打得开,谁会想到爬虫被挡
建站服务商只负责页面渲染,CDN 规则是开通时一键默认的
robots.txt 检查工具工具只读文件内容,不会真的模拟爬虫去敲门

判断是否踩坑只有一个硬标准:日志里有没有这些 UA 的抓取记录,以及返回状态码是什么。想知道怎么导日志,先看 AI 爬虫来过你网站吗?外贸企业查日志的三个动作。

AI 爬虫被 CDN 隐形 403 阻断知识卡:robots 权限层、边缘层执行、白名单三步
放行了不来,先查边缘层状态码

确诊三步:从「感觉没人来」到「知道门断在哪」

不要凭感觉下结论。按顺序做三步,每一步都有明确的证据物:

步骤动作证据物结论分支
第一步:查日志导出近 30 天访问日志,按 UA 过滤 GPTBot / OAI-SearchBot / PerplexityBot / ClaudeBot抓取次数清单有抓取 → 去查内容层;零抓取 → 进第二步
第二步:查状态码如果日志里有记录,看返回码是 200 还是 403 / 503状态码分布403 占多数 → 边缘层拦截实锤,进第三步
第三步:查 CDN 后台登录 Cloudflare(或你家 CDN)的安全 / 防火墙规则页拦截规则清单找到 Bot Fight Mode 或类似开关和命中数

三步走完,你手里有的不是「我的网站好像不被 AI 喜欢」这种模糊焦虑,而是「PerplexityBot 上月尝试 217 次、209 次收到 403、拦截规则是 CDN 后台某某开关」这样可以直接交给技术改的事实。

一个重要提醒:确诊之前,别拿搜索引擎的 site: 查询当判据。我们自己 2026 年 11 月做过一轮收录诊断:用 site: 查自家站返回零结果,一度以为 Google 完全不抓取;后来到 Google Search Console 官方后台核对,抓取与收录数据一切正常——site: 查询在反爬机制下会误报,只有官方后台的数字能作数。这个教训写在这里:判断「AI 或搜索引擎有没有来」,永远以服务器日志和官方后台为准,不要以搜索框查询结果为准(展开见 拿搜索引擎结果当 AI 引用率?这个代理指标能用到哪一步)。

白名单怎么做:官方 IP 段加规则放行

确诊是边缘层拦截后,修法业界已经收敛成标准动作——按爬虫官方公布的 IP 段,在 CDN 后台单独建白名单规则:

动作说明注意点
取官方 IP 段OpenAI、Anthropic、Perplexity 均在官方文档公布爬虫 IP 段定期复查,IP 段会扩容
建放行规则在 CDN/WAF 后台建「来源 IP 在段内 → 允许」的规则,优先级高于防御策略只放行官方段,不要全开
关闭误伤开关Bot Fight Mode 这类默认激进防御,评估后对合法爬虫豁免不是关掉整个防护,是豁免白名单
修完复测用官方提供的验证器或等日志出现 200 记录以日志为准,不要以「感觉快了」为准

放行范围要克制:搜索爬虫(OAI-SearchBot、Claude-SearchBot、PerplexityBot)是决定你能否被 AI 搜索引用的,优先放行;训练爬虫(GPTBot、ClaudeBot、Google-Extended)可以按企业意愿单独决定——这两类的区别与配置方法,展开见 robots.txt 该怎么给 AI 爬虫配?外贸独立站先分清放行谁、挡住谁。

外贸站的特殊坑:模板建站,你根本没有 CDN 后台权限

这里外贸老板要先回答一个问题:你的站在谁手里?

建站方式CDN/WAF 控制权发现 403 后怎么办
自购服务器 + 自配 Cloudflare自己按上表自查自修,当天能改
SaaS 建站平台 / 模板商托管平台方提工单,附日志证据,要求豁免主流 AI 爬虫
外包建站公司代维护服务商要后台只读权限或要求出截图,别只听口头「没问题」
国内机房无 CDN无边缘层这个坑不存在,去查内容层和收录节奏(见 只交 sitemap 就等收录?新域名第一周基本等不来抓取)

模板建站的外贸站尤其注意:平台自带的 CDN 你看不到也改不了,日志导出还要申请。这不是放弃的理由——正因为看不见,「向平台要一份爬虫抓取与状态码报告」应该成为每年固定动作,和查 Google Search Console 一样例行。

另外查边缘层时顺手看一眼自己的镜像域和 CDN 子域有没有变成「第二个正本」,那是另一个会稀释收录的坑(见 镜像域和 CDN 子域会不会变成第二个正本?noindex 该加在哪一层)。

三种「看起来像被 403」但其实不是的情况

排查时要防止把别的病也按这个方子治。三种容易误诊的情况:

  1. JavaScript 渲染问题:爬虫来了、页面也返回 200,但内容是脚本渲染的,AI 读到空壳——症状同为「不引用」,病在内容层,修法是把关键事实放进服务端返回的 HTML 里。
  2. 新站冷启动:上线两周零抓取是正常节奏,AI 搜索引擎对新域名的发现需要外部链接和提交动作配合,不是被谁挡了。
  3. 地理调度:部分 CDN 会按地区返回不同节点,日志分散在不同区域账户里,先确认你看的是全量日志再下「零抓取」的结论。

三种情况的共同解法还是那句话:回到日志和状态码,让证据说话。

修复后怎么验证:给 28 天观察窗口

白名单生效后,按固定节奏验收,不要天天盯:

时间点看什么期望
第 1 周末日志新增抓取记录与状态码白名单内爬虫出现 200 记录
第 2 周末抓取量趋势搜索类爬虫稳定回访(具体量级因站而异,看趋势不看绝对数)
第 4 周末AI 搜索端的实际引用在 ChatGPT / Perplexity 用固定问句手测,方法见 AI 引用为什么要可点击才算数?三家平台的手测取证法

28 天没起色再回炉诊断链,不要第一周没动静就推翻重来——AI 搜索引擎的索引更新有它自己的节奏。

什么企业不用急着做这轮排查

不是所有人都需要今晚就去翻日志:

  1. 网站上线不到两周——先等冷启动,别把正常节奏当故障。
  2. 日志里已有稳定的 AI 爬虫 200 记录——你的门是开的,该把精力放在内容层:前 200 字直答、可独立提取的段落、结构化标记这些 RAG 读取机制上。
  3. 主要客户来自展会和老客户复购、线上获词为零——AI 可见性暂时不是你的主要矛盾,先想清楚要不要开线上这条线。
  4. 已经在做系统性 GEO 交付——边缘层诊断本来就该是服务范围的一部分,让服务商出具证据而不是自己学。

常见问题

robots.txt 放行了,CDN 为什么还能拦?

因为两者管的事不同:robots.txt 是给爬虫看的意向声明,CDN/WAF 是在请求到达你服务器之前的执行层。爬虫先被边缘层挡回 403,根本走不到读 robots.txt 那一步——所以「改了 robots 没效果」不奇怪,要沿链路往下查。

怎么知道我的站前面有没有 CDN?

用响应头检测工具看 HTTP 响应头,出现 cloudflare、缓存代理类字段即有 CDN;模板建站的基本都有平台自带 CDN,直接问服务商「我家站是否经过你们 CDN、能否出爬虫日志」最快。

放行训练爬虫会不会有内容风险?

分两类看:搜索爬虫(OAI-SearchBot、Claude-SearchBot、PerplexityBot)决定你在 AI 搜索里能不能被引用,建议放行;训练爬虫(GPTBot、ClaudeBot、Google-Extended)涉及语料是否用于训练未来模型,属于企业自己的选择,关掉它不影响 AI 搜索引用。

没有服务器日志权限怎么办?

向建站平台或托管商提工单索要「近 30 天 AI 爬虫 UA 抓取次数与状态码」,这是合理的数据权利;拿不到日志的平台,至少要求确认「是否对主流 AI 爬虫返回 403」。两个都拒绝的平台,本身就是一个换供应商的信号。

403 修好后多久能在 ChatGPT 里看到引用?

以观察窗口口径:先看日志出现 200(1–2 周),再看引用(最多给到 4 周)。AI 搜索引擎的索引有更新节奏,引用滞后于抓取是正常现象;4 周日志正常但零引用,问题就转移到了内容层,按 RAG 读取机制的清单去查。

robots 放行、边缘拦截、内容提取,这三道门对应的是三种不同的修法——这也是我们 GEO 培训里诊断模块的标准动作:先拿日志和状态码定位断点,再对症处理,不凭感觉改网站。这篇文章本身的方法(三层链路、确诊三步、28 天验收窗口)就是我们交付给客户做自查的表。我们自己的站 11 月刚用同一套链路做过一轮收录诊断,site: 误报被官方后台数据实证推翻的完整过程,就是最好的教学案例。

想聊你自己的站到底断在哪一层,联系大宗师网络(外贸社媒训练营):微信 Dazongshi98。

本篇常见问题

robots.txt放行了,CDN为什么还能拦?

因为两者管的事不同:robots.txt是给爬虫看的意向声明,CDN/WAF是在请求到达你服务器之前的执行层。

怎么知道我的站前面有没有CDN?

用响应头检测工具看HTTP响应头,出现cloudflare、缓存代理类字段即有CDN;模板建站的基本都有平台自带CDN,直接问服务商「我家站是否经过你们CDN、能否出爬虫日志」最快。

放行训练爬虫会不会有内容风险?

分两类看:搜索爬虫(OAI-SearchBot、Claude-SearchBot、PerplexityBot)决定你在AI搜索里能不能被引用,建议放行;

没有服务器日志权限怎么办?

向建站平台或托管商提工单索要「近30天AI爬虫UA抓取次数与状态码」,这是合理的数据权利;拿不到日志的平台,至少要求确认「是否对主流AI爬虫返回403」。两个都拒绝的平台,本身就是一个换供应商的信号。

403修好后多久能在ChatGPT里看到引用?

以观察窗口口径:先看日志出现200(1–2周),再看引用(最多给到4周)。AI搜索引擎的索引有更新节奏,引用滞后于抓取是正常现象;

本页信息
项内容
主题GEO 外贸独立站
内容来源由大宗师网络内容团队原创整理,结合外贸一线与企业项目观察;文中数据为口径说明,不构成任何结果承诺
篇幅3166 字,9 个小节
适合谁外贸老板、外贸经理、社媒运营与一线业务员
更新时间

同主题继续阅读

这篇帮到你了吗?把大宗师网络设为 Google 首选来源

设为首选来源之后,你在 Google 搜索与 AI 回答里会更常看到我们的内容。这是目前少数由读者自己决定、且对本人长期生效的可见性设置——它不改变排名规则,只是让 Google 知道你想多看谁的。

按钮没出来?直接打开 Google 来源偏好设置,搜索 dazongshi-network.com 手动添加。

想聊聊你们现在卡在哪一步?