网站让 AI 读到了，为什么光改 robots.txt 不够？爬取、索引、引用是三道不同的门

AI 能不能用上你的网站，要过三道门：爬取（机器人进不进得来）、索引（进来之后你的页面会不会被留下）、引用（AI 答用户问题时会不会拿你当依据）。三道门是串联的，第一道断了，后面所有 GEO 动作都白做；但反过来，第一道开了也不代表你能过第三道——大多数外贸站卡在第二道或第三道，却在反复改第一道。判断卡在哪一层的办法很简单：拿一句话去问 AI，看它是从没见过你，还是见过但没选你——这两种情况要吃的药完全不同。

前阵子帮一家做户外用品的客户做诊断。他们上一年做了不少内容，产品页、工厂介绍、常见问题都写全了，ChatGPT 里问品牌名确实能问出来。但问"中国有哪些做户外储能的工厂推荐几家"，一次都没被提到。老板说"是不是我们内容分量不够"，准备再写三十篇。

我让他们先做一件事：把主页另存成纯文本，删掉所有图片和样式，只留文字。存下来打开一看——首页上除了公司名和一句口号，什么都没有。产品全在用图片排版，参数在图里，应用场景在图里。机器人抓到的是一张白纸。这不是内容问题，是第二道门的问题：抓到了，但抓到了个空的。

判断卡在哪一道门，先记住哪几条？

• 三道门：爬取（robots.txt / WAF / CDN 拦不拦）→ 索引（能不能被收录、canonical 指对了没有）→ 引用（AI 会不会拿你当依据）。
• 顺序不能跳：第一道断了，第二第三道做什么都没用。
• 判断卡在哪一层，看 AI 的反应：问不到你 = 第一或第二道；问得到你但不推荐你 = 第三道。
• 外贸站最常坏的是第二道：关键信息全在图片里，机器人抓到的是空页。
• llms.txt 不是第四道门，它是可选的指路牌，替代不了可抓取的页面、sitemap 和内链。
• Google 官方说得很直白：想在生成式 AI 功能里出现，不需要 AI 专用文件、不需要特殊标记。

三道门分别是什么？

三道门的通关率是乘法关系，不是加法。第一道通了、第二道通了，第三道还是可能零——因为选谁当依据，AI 看的是完全另一套东西。

怎么判断自己卡在哪一道？

这张表建议直接对着自己的情况找。

这张表最重要的一行是第二行和最后一行。 「能答对品牌名、但问品类词完全不见」——这是最典型的第三道问题，而最多人会拿它当第四道问题去解决（继续写文章）。文章写再多，如果内容里没有可验证的事实，AI 还是不会拿你当依据。

第二道门为什么最容易被外贸站弄坏？

因为外贸站的内容太依赖图片。

这里有个常见误解要澄清：不是"不要图片"，是"信息不能只在图片里"。图片该有，但同一件事必须在正文的文字里也说一遍。我们自己的做法是——信息同时在正文文字里；图片文件名用关键词命名；alt 描述事实、figcaption 补上判断。三件事一起做，图片就从"噪音"变成"证据素材"。

顺便说清 llms.txt 的边界。站上另一篇已经详细讲过它，这里只留结论：它是一个可选的指路牌，从来没被任何主流 AI 平台承诺会读。Google 官方明确说过，想让内容出现在生成式 AI 功能里，不需要任何 AI 专用文件。它替代不了可抓取的页面、sitemap 和内链。 把 llms.txt 当救命稻草的外贸站，通常是在用一件便宜的事回避一件麻烦的事——把文字写进页面。

第一道门：除了 robots.txt 还要看什么？

robots.txt 只是第一道门里最容易看的一项。同一条门缝上还有几个常被忽略的位置：

「被安全策略误挡」这一条在外贸站上出现的频率很高——服务商上防护规则时按流量特征批量拦，AI 爬虫和采集器常被归到同一类。

什么情况下上面的判断要改？

1. 你是平台店铺、没有独立站：第一道和第二道门都不在你手上，直接做第三道，重心放站外信源。
2. 站刚上线 3 个月内：先解决收录，别急着做引用——候选池都没进，谈选谁没意义。
3. 产品高度非标、只有几十个客户：这类生意不该指望 AI 品类词被推荐，重点是把品牌名问答做对，服务已有客户。
4. 行业里 AI 推荐的永远是那几家大厂：正常。你的目标不是进前五，是在你细分的那一个场景里被提到。
5. 买家根本不问 AI 这个品类：先用最真实的问题去测几个平台，如果答案是"没人这么问"，那 GEO 对这条产品线就是次要渠道，别投入过头。

正确的顺序是什么？

1. 先确认第一道门：打开 /robots.txt，看 AI 爬虫有没有被挡；看防护产品有没有把爬虫当恶意流量。
2. 再修第二道门：把关键信息从图片搬到文字里。这一步最费力，也最值得。
3. 再统一事实口径：同一个数字，在官网、LinkedIn、行业平台上说一致。
4. 最后补第三方信源：AI 的答案有相当大比例来自站外，站内做到了只是及格。
5. 定期复测：固定一组问题，多平台分开跑，看趋势不单次。

第 2 步和第 4 步是最容易做、也最容易被跳过的两步。 大多数外贸站卡在这里不是不会，是这两件事看起来太不"技术"了。

本篇常见问题

加了 llms.txt 是不是就多了一道门？

不是。它是可选的指路牌，没有任何主流平台承诺会读。Google 官方明确说想在生成式 AI 功能中出现，不需要 AI 专用文件或特殊标记。它替代不了可抓取页面、sitemap 和内链这三样基本功。

Google 收录正常，是不是就说明 AI 也能找到我？

不能这么推。收录解决的是"进索引"，引用解决的是"被选中当依据"，这是两件事。Ahrefs 的研究显示，AI Overview 引用的页面中同时排在 Google 前 10 的比例，已从 2025 年 7 月的 76% 降到 2026 年 3 月的 38%——排名在成为 AI 引用的一个较弱预测指标。（该研究同时提示降幅部分来自检测能力改进，因此只取方向性结论。）

三道门里哪一道最少人做？

第二道的"把信息从图片搬进文字"和第三道的"第三方信源"。两道都不需要技术能力，只需要把事做完。 而这两道恰恰是决定成败的。

我的网站是模板站，改不了代码，能过第二道门吗？

能，但要向服务商提需求。第二道门里最要紧的是"关键信息在正文文字里"——这件事不需要改代码，改的是你自己的内容。canonical、渲染方式这些才需要服务商配合。

单纯加 Schema 结构化数据能怎么样？

Schema 是第二道门的辅助项，不是主项。有第三方数据显示结构化数据能提升模型抽取准确率，但前提是页面上本来就有那些信息。页面上没有内容，加 Schema 加不出内容来。

三道门都过了，多久能看见效果？

三层不同：能被抓到（几天内可验证）、能被引用（内容与结构改动通常以周计）、能被稳定推荐（以月计）。这三件事不该用一个时间预期去要求。

想聊你自己的具体业务场景，联系大宗师网络（外贸社媒训练营）：微信 Dazongshi98。