llms.txt 到底要不要做?我们把瑞博官网的真实做法讲清楚
llms.txt 不会提升搜索排名,谷歌已明确否认。我们用瑞博官网的真实部署记录,讲清楚它到底管什么、在待办清单里排第几,以及该先做哪几件事。
llms.txt 到底要不要做?我们把瑞博官网的真实做法讲清楚 该做,但要排在待办清单第 11 位,而不是第一位。llms.txt 不会影响你的谷歌排名,也没有任何一家主流 AI 公司确认会读取它。它是个性价比不错的补充说明文件,不是 SEO 或 GEO 的救命稻草。我们给瑞博官网部署了一份,花了不到一小时,一共 61 行。这件事本身没错,错的是把它当成策略核心来卖。
llms.txt 到底是个什么东西
一个放在网站根目录的纯文本 markdown 文件,地址是 yoursite.com/llms.txt。里面写清楚你是谁、做什么、最重要的页面有哪些、怎么联系你。
它模仿的是 robots.txt 的思路,但性质完全不同。robots.txt 有强制力,搜索引擎必须遵守。llms.txt 没有,它只是个社区约定。2024 年有人提出来,两三年过去,没有任何标准机构认它,也没有任何一个 AI 厂商公开说过会读它。
所以你可以把它理解成一张给机器的名片。对方看不看,随缘。你印了,成本很低。指望它带来订单,就跑偏了。
谷歌和各大 AI 厂商到底认不认它?
不认。至少到现在,是明确的不认。
谷歌这边表态最直接:llms.txt 不会被用于搜索或 AI Overviews,对排名和可见度没有任何正面或负面影响。这句话不是媒体转述,是谷歌自己说的。
ChatGPT、Perplexity、Claude 这几家,公开场合都没有确认过会主动抓取并依赖 llms.txt。几家做 GEO 工具的公司做过测试,结论基本一致:加了文件之后,被引用的频率没有可测量的变化。
我们查 2026 年这几份行业综述时,看到一句反复出现的说法,值得你记住:真正决定 AI 会不会引用你的,是权威性和内容本身的质量,不是某个文件在不在。
这话听着像正确的废话,但它能帮你省掉不少冤枉钱。现在市面上有服务商把 llms.txt 打包进「GEO 必做清单」单独收费,甚至暗示没有它 AI 就抓不到你。按目前的公开信息,这个逻辑站不住脚。
那为什么我们还给瑞博官网做了一份
既然没用,为什么还要做?三个理由,都跟提升排名没关系。
第一,成本确实低。我们自己的这份一共 61 行,从起草到上线不到一小时。里面的结构是:一段公司定位、十个服务的清单、覆盖的行业、九个核心页面链接、常见问题摘要、联系方式。
写的过程本身有价值。它逼我们用最短的话把「瑞博到底是干什么的」说清楚。如果你连这份文件都写不出来,多半说明你的官网定位也没想明白。
第二,网站规模大了之后,它确实能降低机器理解的成本。瑞博官网现在有 65 个页面 URL,内容质量参差。llms.txt 相当于告诉 AI:这九个链接是我们最重要的,剩下的你自己挑。对于页面多、质量不均的站点,这个导航作用不是零。
第三,万一以后真被大规模采用呢。这个理由很弱,我们承认。但成本摆在那,属于顺手做了不亏的范畴。
一份能用的 llms.txt 该长什么样?
别写成第二个 sitemap。这是最常见的错误,把全站几百个 URL 机械地导进去,等于没写。
一份合格的文件大概是这个结构:
- H1 放公司全称,别用口号。
- 一句话定位,用引用格式包起来,说清你是谁、服务哪里、做什么。
- H2 分成几个板块:能做什么、服务哪些行业、核心页面、常见问题、联系方式。
- 每条链接后面跟一句描述,不是标题复读,而是说明这个页面解决什么问题。
- 十个左右的核心页面就够了。
我们自己在核心页面里放了九个链接:服务总览、行业方案、交付方法、案例、实战研究、常见问题、关于、AI 体检、联系我们。为什么只放九个?因为这九个是用户真正会用的决策入口,其余内容页顺着它们也能走到。
有个细节容易被忽略:描述要写成完整句子,别堆关键词。AI 读取的是语义,不是你在关键词密度上的那点小心思。
我们踩过的一个坑:文件里的链接必须是能真打开的
这条听着像废话,但它是我们在部署后自查时,差点漏掉的事。
llms.txt 里写的都是 https 开头的完整地址。如果哪天你的 HTTPS 配置出了问题,比如证书没覆盖到某个子域名,或者 nginx 少配了一个端口,那么这份文件里的每一个链接都会指向一个打不开的页面。
AI 爬虫顺着 robots.txt 找到 llms.txt,再顺着 llms.txt 去找你的核心页面,结果一路 404。你精心整理的文件,反而把爬虫领到了死路上。
所以我们的检查清单里固定有一项:用命令行逐个访问文件里的所有链接,确认返回 200。不是看浏览器能不能打开,浏览器有缓存还有自动纠错。要看真实的状态码。
同样的检查也适用于 robots.txt 里那句 Sitemap 地址,以及每个页面的 canonical 标签。这些地方写的地址,必须是你自己验证过能打开的。
比 llms.txt 更该先做的四件事
如果你时间有限,按这个顺序来,前面四件都比它重要。
一是结构化数据。Organization、FAQPage、Article、BreadcrumbList 这几个类型的 JSON-LD。这是谷歌官方认可的实现格式,能帮机器准确理解页面内容。瑞博全站每个详情页都部署了,实战研究页面额外带 Article 和作者信息,页面底部的问答区块用 FAQPage。这一项的工作量大概是写 llms.txt 的十倍,收益也大得多。
二是结论先行的回答结构。每个问题式小标题下面,第一段就把答案给完,控制在四五十个字。AI 抓取时倾向于提取这个位置的文本。你把答案藏在第四段,它大概率看不见。你现在看到的这篇就是个例子,开篇第一句话已经是答案。
三是实体信息的一致性。公司全称、地址、电话、主营业务描述,在官网、地图商户页、招聘平台、行业目录里要完全一致。AI 是按实体来索引的,不是按 URL。同一个公司在三个地方叫三个名字,机器就很难把这些信息合并到一起。
四是在 robots.txt 里显式放行 AI 爬虫。这条成本最低,也最容易被忽略。
为什么要一个一个手写 AI 爬虫名单?
很多网站的 robots.txt 只有一句 User-agent 星号配 Allow,以为这就够了。
我们在自己的 robots.txt 里,把主流 AI 爬虫一个一个列出来单独放行:GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、anthropic-ai、Claude-User、PerplexityBot、Google-Extended、Applebot、Applebot-Extended,加上国内的 Baiduspider、Bytespider、360Spider、Sogou。一共十四个。
为什么要一个个写?因为不同爬虫对通配符的解析实现不一样,光写 Allow 星号并不能保证全部覆盖。显式列出 user-agent 是最保险的做法。
这件事几分钟就能做完,效果远比做一份 llms.txt 靠谱。你要是想让 AI 读到你的内容,首先得让它进得来。这个逻辑,很多 GEO 方案里都没提。
什么样的网站不用急着做
符合下面几条的话,这个文件可以先放一放。
页面总数不到二十个,链接结构清楚,没有大量低质量的归档内容。这种情况下 AI 全站爬一遍的成本很低,导航图的价值有限。
你是本地服务商,主要客户不通过 AI 搜索找你。郑州大部分做本地生意的企业属于这类。你的预算应该花在地图商户、本地目录和真实案例上。
公司的产品介绍、服务范围、联系方式在官网上都还没写明白。那就先补内容,别急着补格式。
反过来说,如果你是技术型产品,有完整文档站,面向会用 AI 助手做供应商调研的买家,那 llms.txt 的价值会高一些。这类企业的目标用户确实可能在用支持它的工具。
如果你要动手,该按什么顺序来?
先把 HTTPS 跑通,确认所有对外地址返回 200。这步没做完,后面全白搭。
第二步,部署 robots.txt 的显式 AI 爬虫放行清单。
第三步,给全站加结构化数据,重点是 Organization、FAQPage、Article、BreadcrumbList。
第四步,把官网上的公司介绍、服务范围、联系方式统一口径。
第五步,改造页面结构,每个问题段落开头先把答案说完。
第六步,写你的第一份 llms.txt,控制在十来个链接以内。
第七步,用命令行工具逐个验证文件里的链接状态码。
第八步,三个月后回头看,别指望它带来可测量的变化。
瑞博自己的 llms.txt 一直公开可查,就在站点根目录,把域名后面直接接上 /llms.txt 就能打开。你可以看一眼一份真实在用、而不是演示用的文件长什么样,也欢迎拿它和那些收费清单对照一下,看看到底多了哪些东西。
最后把这行留在这里,因为两端的误会都要澄清:llms.txt 要做的理由是便宜和顺手,不是因为它有效。真想让 AI 引用你,靠的还是能被验证的专业内容。
相关内容
企业 AI 知识库从零搭建:我们把资料治理这一步拆开讲了
知识库做不好的真正原因,八成不在模型,在资料。我们把盘点、清洗、切分、检索策略这四步的实操细节和踩过的坑完整写出来。
AI 把你的公司说错了怎么办?我们拿自己官网试了一遍
AI 把公司名、业务或年份说错了,能改吗?我们用瑞博官网的真实纠错记录讲清楚错误从哪来、哪四类最容易错、申诉有没有用,以及从信源改起的四个步骤。
AI 爬虫要不要放行?我们把自家 robots.txt 摊开给你看
AI 爬虫该不该放行?我们摊开瑞博官网的 robots.txt,讲清训练爬虫和搜索爬虫的区别、三种常见写法错误,以及三条命令自己验一遍。