AI 爬虫来过你网站吗？外贸企业查日志的三个动作

想知道 AI 到底有没有来读你的网站，最快的办法不是问服务商、也不是装新工具，是打开服务器访问日志搜一遍爬虫名字。三个动作：搜 UA 字符串看谁来过、看状态码判断有没有被拦、隔两周再搜一次看是常态还是一次性。做完这三个动作，你会知道一件大多数外贸企业从来没确认过的事——我们花钱做的内容，机器到底读没读。这件事不确认，后面所有的 GEO 动作都是盲打。

一个做汽配的客户，去年认真做了大半年的内容，产品页、技术问答、应用案例，一篇不落。老板每次问"有效果吗"，负责人都说"内容做扎实了，慢慢会起来"。去年底我拿到他们服务器日志，搜了一遍七个主流 AI 爬虫的名字——半年来一次记录都没有。

原因不复杂：他们的站是某建站平台托管的，平台的边缘防护把不常见 UA 全当可疑流量处理了。半年的内容，一篇都没被 AI 读过。这个结论不是从内容里看出来的，是从日志里一行一行搜出来的。

这件事最该先确认哪五条？

• 三个动作：搜 UA（谁来过）→ 看状态码（有没有被拦）→ 隔两周再搜（是常态还是一次性）。
• 日志里 gptbot、oai-searchbot、claudebot、perplexitybot、bingbot、ccbot、bytespider 这几个名字一个都搜不到，说明你的站对 AI 是关着的——不管内容写得多好。
• 有请求记录但状态码是 403 / 429，说明被防护拦了，不是没来过。
• 两步验证：日志 + 一次 AI 实测问答。日志证明"读过"，实测证明"用上了"。
• 外贸企业里，看过自己服务器日志的比例极低——这是 GEO 里投入产出比最高的一个动作。
• 注意一个坑：AI 渠道的流量归因本身不稳定，UTM 会丢，所以"后台没看到 AI 来的流量"不能反推"AI 没读过你"。

第一步该搜什么？看谁来过你的站

在服务器上直接搜。下面这条命令把七个主流 AI 爬虫一次捞出来（日志路径换成你自己的）：

grep -iE "gptbot|oai-searchbot|claudebot|claude-searchbot|perplexitybot|bingbot|ccbot|bytespider" /var/log/nginx/access.log

搜出来之后，按这张表读：

这张表里最该盯的是 OAI-SearchBot 和 Bingbot 两行。 前者决定你有没有资格进 ChatGPT 的搜索答案，后者是 Copilot 和 ChatGPT Search 的索引前置。外贸站普遍只关心 Google，这两条线通常是断的，而且断了自己不知道。

第二步看什么？状态码告诉你被拦了还是没来

搜到记录不等于抓到了内容。关键在返回码。

403 和 429 是外贸站最常见的两个"假关门"。 服务商上防护规则时通常按流量特征批量拦，AI 爬虫和不看规则的无差别采集器被归进同一类处理。这种拦法对前者是误伤——因为 AI 爬虫本来就遵守 robots.txt，是"好客人"。

这也是我们跟客户反复说的一句话：你要防的是"无名采集器"，不是有名字的 AI 爬虫。 前者不看你的规则，后者看了还会照做。批量拦的逻辑把两者一起关在门外，代价是你的内容永远进不了 AI 的候选池。

第三步为什么要隔两周再搜一次？

单次记录说明不了什么——可能是你哪篇文章被某个聚合站转发后引来的偶发抓取。

判断方法：

最后一行是最重要的判断。日志全绿 + AI 里查不到你 = 你的问题不在技术层。很多企业在这里继续折腾 robots.txt 和 llms.txt，方向已经错了。

不想碰服务器？还有三个替代办法

外贸企业多半没有专职运维，让服务商查日志往往要等。

Search Console 那一条有个陷阱要避开：它只显示 Googlebot，GPTBot、ClaudeBot、PerplexityBot 一个都不会出现在里面。很多人看 Search Console 一切正常就以为 AI 那边也正常，这两件事没有关系。

为什么后台没流量，不能证明 AI 没读过你？

日志证明"谁来读过"，但"读完之后带来了什么"，这件事目前测不准。

2026 年 10 月有报道提到，ChatGPT 在一段时间里丢失了部分外链的来源标记，访客被计入了"直接访问"，后台数据因此出现假的下跌。这件事的含义是：不要用后台流量反推 AI 有没有读你。

我们的判断是：AI 渠道要用"两层证据"来看——日志证明它读过，买家问法证明它用上了。 后台流量数字只能当参考，不能当结论。

什么情况下上面的做法要调整？

1. 托管站、拿不到日志：走 Clarity 或直接向服务商要日志片段，别放弃这一步。
2. 站刚上线：先确认收录，日志这一步等有流量了再做。
3. 有 CDN 但不确定规则：先去 CDN 后台看 bot 管理，看有没有把 AI 爬虫列进拦截名单。
4. 外贸 CRM 自带站：这类站的防护通常比较激进，这是重灾区，务必先查。
5. 日志量太大搜不动：用日志分析工具，或只搜最近 7 天的片段做抽样。

正确的顺序是什么？

1. 先搜一次日志，确认七个爬虫名字有没有出现过。
2. 有记录就看状态码，403 / 429 要放行。
3. 没记录先查 robots 和防护规则，两个最可能的关门处。
4. 修完之后打标记，记下今天日期，两周后再搜一次对比。
5. 同时做一次 AI 实测：拿 5 个客户常问的问题，去 ChatGPT / Perplexity / Gemini 各问一遍，看有没有你。
6. 日志 + 实测两份记录合起来看，再决定下一步投向内容还是技术。

第 5 步和第 6 步是很多企业省掉的——只看日志容易得出"通了就行"的结论，只看实测又会误判成内容问题。两份合起来，才判断得出卡在哪道门。

本篇常见问题

日志里搜不到任何 AI 爬虫，是内容不够好吗？

不是。抓取和内容质量是两件事——爬虫不来的原因在门口，不在屋里。先查 robots.txt 有没有挡、防护规则有没有拦、服务器有没有返回 403 / 429。这三处查完再谈内容。

状态码 200 就说明 AI 会用我的内容吗？

只说明它读到了。从读到用到，中间还有"被选中当依据"这一步，取决于内容里有没有可验证的事实和第三方信源。日志全 200 但 AI 里查不到你，是正常的，问题在下一层。

Search Console 里一切正常，AI 那边为什么查不到？

因为 Search Console 只讲 Googlebot，不包含 GPTBot、ClaudeBot、PerplexityBot。这边正常和那边正常是两件事。要覆盖 AI 爬虫，得看服务器日志或 Clarity。

爬虫 UA 会不会被伪造？

会。UA 字符串本身不是身份证明，恶意的采集器可以随便写一个 GPTBot。所以日志判断要配合两点：一是看 IP 段是否符合官方公布的爬虫来源，二是看抓取行为是否异常（比如短时间内暴抓大量页面）。真要在网络层拦，靠的是 CDN / WAF 的验证规则，不是 UA 字符串。

多久查一次日志合适？

每季度一次作为常规节奏；站上做大改动（改版、换服务商、上防护规则）之后，48 小时内补查一次。改版后 AI 突然不提你的情况，多数就是这几次检查没做。

我们自己查不了，能不能让建站公司代查？

可以，建议这样提需求：请导出最近 7 天访问日志中包含 GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Bingbot 的记录及返回码。 直接报爬虫名字，比问"有没有 AI 来过"更容易得到有效答复。

想聊你自己的具体业务场景，联系大宗师网络（外贸社媒训练营）：微信 Dazongshi98。