多数外贸独立站不需要屏蔽 AI 爬虫，真正该做的是分清两类爬虫：只用来训练模型的，可以挡；用来实时检索、给答案找依据的，必须放。OpenAI 一家就有三个爬虫干不同的事——GPTBot 管训练和检索、OAI-SearchBot 管 ChatGPT 搜索的实时抓取、ChatGPT-User 管用户在对话里主动打开网页。把 GPTBot 一挡就以为"ChatGPT 找不到我了"，是这一步最常见的误判。而外贸站真正该防的从来不是 AI，是扒产品图和报价单的同行采集器。
上周有个做五金件的客户来问，说他们的建站服务商"为了安全"把 robots.txt 里所有 AI 爬虫都挡了。这个站上线快一年，Google 收录正常，但客户自己拿 ChatGPT 问"中国有哪些做 XX 的工厂"，怎么问都问不到自家名字——他们此前一直以为是产品词没选对。问题不在词，在那份文件的第一行。
这件事最短的答案是哪几条？
- OpenAI 的爬虫分三个：
GPTBot（训练 + 检索）、OAI-SearchBot（ChatGPT 搜索实时检索）、ChatGPT-User（用户主动浏览）——挡哪个、留哪个，结果完全不同。 - Anthropic 同样是三个：
ClaudeBot（训练）、Claude-SearchBot（检索）、Claude-User。官方明确说明，屏蔽Claude-SearchBot会降低你在搜索结果里的可见性与准确性。 Google-Extended只管 Gemini 的训练与 grounding，和 Googlebot 完全分离，不影响 Google 搜索排名。- robots.txt 是请求，不是防火墙——恶意采集器根本不看，真要拦必须上 CDN 或 WAF 规则。
- 屏蔽不追溯：文件写上之前已经被抓走的内容，不会被删回来。
- 外贸站最该挡的不是 AI，是没有名字的批量采集器——同行扒图、扒参数、扒客户名单。
为什么外贸站今年都开始看这一行了？
以前的爬虫逻辑很简单：Googlebot 爬你的页面，把蓝色链接还给用户。你让它爬，它给你流量——交换是清楚的。
AI 爬虫把这个交换拆开了。它干三件不同的事，对应三种完全不同的结果：
| 爬虫类型 | 它拿你的内容干什么 | 你得到什么 |
|---|---|---|
| 训练爬虫 | 喂进模型权重，改的是模型"脑子里"的东西 | 说实话：短期内什么都看不到 |
| 检索爬虫 | 用户提问时实时抓你的页面，作为答案依据 | 有被引用的可能，可能带来点击 |
| 答案引擎 | 读你的内容，直接生成答案给用户 | 有时有引用，有时连名字都没有 |
变化在这句话上——以前问的是"要不要让爬虫进"，现在要问的是"哪个爬虫、为了什么、我换回来什么"。外贸站的情况更特殊：绝大多数是建站模板或外贸 CRM 自带站，robots.txt 自己不一定改得动。所以第一步不是改文件，是先确认改文件的权限在谁手上。
AI 爬虫到底是哪几个？
这张表建议存下来。名单会变，每季度对一次。
| 爬虫 | 归属 | 干什么 | 遵守 robots.txt |
|---|---|---|---|
| GPTBot | OpenAI | 模型训练 + 检索 | 是 |
| OAI-SearchBot | OpenAI | ChatGPT 搜索的实时检索 | 是 |
| ChatGPT-User | OpenAI | 用户对话里主动打开网页 | 是 |
| ClaudeBot | Anthropic | Claude 模型训练 | 是 |
| Claude-SearchBot | Anthropic | Claude 网页搜索检索 | 是 |
| Google-Extended | Gemini 训练与 grounding | 是 | |
| Googlebot | 搜索索引（非 AI 专用） | 是 | |
| Bingbot | Microsoft | 搜索索引 + Copilot 检索 | 是 |
| PerplexityBot | Perplexity | Perplexity 答案的实时检索 | 是 |
| CCBot | Common Crawl | 开放数据集，被多家 AI 实验室取用 | 是 |
| Applebot-Extended | Apple | Apple Intelligence 训练 | 是 |
| Bytespider | ByteDance | 训练数据收集 | 自称遵守 |
看这张表要抓住两条线：
第一条线：带 -Extended 后缀的，基本都只管训练（Google-Extended、Applebot-Extended），和搜索索引是分开的。
第二条线：带 -SearchBot 或 -User 的，基本都是实时检索或用户触发的，挡了直接影响可见性。
这两条线，是后面所有配置的地基。
屏蔽和不屏蔽，差别到底在哪？
把十二个爬虫按"挡了会损失什么"重新排一遍，结论比名单本身有用：
| 你挡掉的 | 直接损失 | 不影响 |
|---|---|---|
| GPTBot | 不再贡献模型训练数据 | OAI-SearchBot 照常检索，ChatGPT 搜索仍可能引用你 |
| OAI-SearchBot | 从 ChatGPT 搜索结果里消失 | Google 排名、Gemini 全不受影响 |
| Claude-SearchBot | Claude 搜索里可见性与准确性下降 | Google、ChatGPT 不受影响 |
| Google-Extended | Gemini 训练不再用你的内容 | Google 搜索排名完全不受影响 |
| CCBot | 不再进入 Common Crawl 这一批公开数据集 | 各家 AI 的实时检索不受影响 |
| Bingbot | Bing 索引断，Copilot 与 ChatGPT Search 一并受影响 | Google 侧不受影响 |
倒数第二条最容易被忽略：微软的 AEO/GEO 指引明确把 Bing 索引当作 Copilot 与 ChatGPT 搜索可见性的前置条件。外贸站普遍只盯 Google，Bing 那边 Webmaster Tools 从没提交过 sitemap——这条路是断的。
外贸独立站该怎么配？
分两种处境，配置不一样。先判断自己属于哪种。
处境一：robots.txt 自己能改（自建站、独立部署）
默认值就写这个——放行检索类，训练类按你意愿：
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: *
Allow: /
Sitemap: https://你的域名/sitemap.xml如果明确不想让内容参与模型训练，再单独加这几行（注意：这一步是"我不想贡献训练数据"，不是"我不想被 AI 找到"）：
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /处境二：站是建站服务商 / 外贸 CRM 托管的
这种站你多半没有 robots.txt 的写入权限。要做的是三件事：
- 先测：浏览器直接打开
你的域名/robots.txt，看第一行写的是什么。很多托管站的默认值其实相当宽松，你担心的问题根本不存在。 - 再问：向服务商确认能否放行
OAI-SearchBot、PerplexityBot、Bingbot。问的时候直接报爬虫名字，别问"能不能支持 AI 搜索"——后者通常得到"我们研究一下"。 - 最后补：robots 改不动的，把精力挪到内容侧和站外信源（LinkedIn、YouTube、行业平台）。这两块不依赖服务商，是你能自己动的部分。
举个更细的分层写法——不必全开或全关：
User-agent: GPTBot
Disallow: /price/
Disallow: /api/
Allow: /
User-agent: PerplexityBot
Allow: /允许产品页、案例页、FAQ，挡掉内部工具和接口，这个思路对外贸站成立：AI 索引你的内部页面没有价值，但读懂你的产品页有价值。
怎么确认爬虫真的照做了？
写规则只是第一步，验证是第二步，而且大部分外贸站从没做过第二步。
| 方法 | 怎么做 | 能看出什么 |
|---|---|---|
| 服务器日志 | 在访问日志里 grep 爬虫 UA 字符串 | 谁来过、什么时候来、抓了哪些页、返回码是多少 |
| Microsoft Clarity | 站上装 Clarity，看 AI Bot Activity 面板 | 按运营商和用途分类的抓取量，不用解析日志 |
| Google Search Console | 看爬取统计报告 | Googlebot 的请求量、响应码、抓取预算使用 |
| Bing Webmaster Tools | 提交 sitemap 后看抓取与索引 | Bing 侧是否正常，直接影响 Copilot |
日志排查在服务器上一条命令就能起头（把日志路径换成你自己的）：
grep -iE "gptbot|oai-searchbot|claudebot|perplexitybot|ccbot|bytespider|bingbot" /var/log/nginx/access.log如果挡住了某个爬虫，日志里还在出现它的名字，说明它没遵守，你的 robots.txt 对它是张废纸。 这时候只能上 CDN 或 WAF 在网络层拦。
什么情况下上面的建议要反过来？
上面说的默认值是"放行检索类、训练类可选"。下面这几种情况要改：
- 网站有付费内容或有偿资料库：训练爬虫要挡，检索爬虫也要评估——如果 AI 直接把你的付费内容摘要出来，这是在蚕食收入。
- 产品图、设计稿是你最大的资产：这不是 AI 爬虫的事，是无差别图像采集的事。要做的是图片加水印、限制原图尺寸、热链保护，而不是去挡 AI。
- 业务高度依赖不可公开的工程参数：某些参数页面单独
Disallow，但别连整站一起挡。 - 正在做竞品情报，自己也在采集：那你要知道自己的站也被别人采。这时候策略是"该放的放、该藏的藏"，不是全面关门。
- 站刚上线，还没被任何引擎收录：这时候挡 AI 爬虫等于自断一条新渠道，先把收录做起来再谈取舍。
正确的顺序是什么？
这件事有先后，不是并列的几个动作：
- 先看：打开自己的
域名/robots.txt，逐行读一遍，看有没有被误挡。 - 再断权限：确认这个文件你自己能不能改；不能改，走服务商，同时把精力转到内容与站外。
- 再放行检索类：
OAI-SearchBot、PerplexityBot、Claude-SearchBot、Bingbot优先放。 - 再决定训练类：这是"要不要贡献训练数据"的商业选择，不是技术问题，按你的内容价值定。
- 最后验：两周后看一次日志，确认名单里的爬虫真的来了——没来，前面四步全白做。
本篇常见问题
屏蔽 GPTBot 会影响我的 Google 排名吗？
不会。GPTBot 是 OpenAI 的爬虫，和 Googlebot 完全分离，两者不共用任何入口。同理，屏蔽 Google-Extended 也只影响 Gemini 的训练数据，不影响 Googlebot 抓取和你的搜索排名。
我想退出训练，但还想被 ChatGPT 引用，能做到吗？
能。动作是挡 GPTBot、放 OAI-SearchBot 和 ChatGPT-User。这也是 OpenAI 官方给出的拆分方式——它把训练爬虫和检索爬虫分成了不同的 user-agent，就是为了让站方做这个选择。
robots.txt 挡住了，之前被抓走的内容会不会被删掉？
不会。屏蔽只约束之后的抓取行为，不追溯。文件写上去之前已经被抓走的内容，可能已经进了训练数据，这部分无法撤回。
我把 AI 爬虫全挡了，是不是就安全了？
不是。robots.txt 是政策信号，不是防火墙——恶意采集器本来就不看它。真正要在网络层拦，得用 CDN 或 WAF 的 bot 管理规则。而外贸站最常见的风险（同行批量扒图、扒参数）通常来自不看 robots.txt 的采集器，挡 AI 爬虫对这类风险毫无作用。
要不要在 robots.txt 里加 Crawl-delay？
可以加，Crawl-delay 会让爬虫在两次请求之间等指定秒数，对服务器负载有帮助。但不是所有爬虫都遵守——Googlebot 就明确忽略它。真要做速率限制，还是在 CDN 或 WAF 层做。
新出现的爬虫怎么跟？
每季度对一次。看两个地方：一是自己的服务器日志，看看有没有没见过的 UA；二是 AI 公司自己的文档页，它们上新爬虫通常会公布 user-agent 字符串。
我们没有独立站，只有平台店铺，这一篇还适用于我们吗？
不适用。平台店铺的 robots.txt 由平台控制，你改不了。这类企业的 GEO 重心应放在站外信源——LinkedIn 个人号、YouTube、行业平台和客户案例授权，这些不依赖你自己的站。
想聊你自己的具体业务场景，联系大宗师网络（外贸社媒训练营）：微信 Dazongshi98。
本篇常见问题
屏蔽GPTBot会影响我的Google排名吗？
不会。GPTBot是OpenAI的爬虫，和Googlebot完全分离，两者不共用任何入口。
我想退出训练，但还想被ChatGPT引用，能做到吗？
能。动作是挡GPTBot、放OAI-SearchBot和ChatGPT-User。
robots.txt挡住了，之前被抓走的内容会不会被删掉？
不会。屏蔽只约束之后的抓取行为，不追溯。文件写上去之前已经被抓走的内容，可能已经进了训练数据，这部分无法撤回。
我把AI爬虫全挡了，是不是就安全了？
不是。robots.txt是政策信号，不是防火墙——恶意采集器本来就不看它。真正要在网络层拦，得用CDN或WAF的bot管理规则。
要不要在robots.txt里加Crawl-delay？
可以加，Crawl-delay会让爬虫在两次请求之间等指定秒数，对服务器负载有帮助。但不是所有爬虫都遵守——Googlebot就明确忽略它。真要做速率限制，还是在CDN或WAF层做。
新出现的爬虫怎么跟？
每季度对一次。看两个地方：一是自己的服务器日志，看看有没有没见过的UA；二是AI公司自己的文档页，它们上新爬虫通常会公布user-agent字符串。