答案摘要
对 AI 抓取更友好的站点，通常会同时提供开放的 robots 规则、完整 sitemap，以及明确列出站点核心页面与内容原则的 llms.txt。
- robots 要允许主要内容目录抓取
- sitemap 要覆盖核心静态页与详情页
- llms.txt 要告诉模型站点定位与重点页面
- 抓取协议必须与真实可访问页面保持一致
robots 负责权限，sitemap 负责发现
robots.txt 告诉爬虫哪些路径可以访问；sitemap.xml 告诉爬虫你有哪些值得索引的页面。这两者缺一不可。
llms.txt 更适合告诉模型“站点最该读什么”
llms.txt 不是传统搜索引擎协议，而是一种面向大模型读取习惯的站点说明。它适合用来写站点定位、内容原则、重点页面和联系邮箱。
协议文件只是入口，页面本身仍然要可摘取
即便 robots 和 llms.txt 配得很好，如果详情页本身没有结论摘要、没有清晰结构、没有可信信号，AI 仍然很难稳定引用。
FAQ
Q / 01
llms.txt 能替代 sitemap 吗？
不能。它更像是给模型的阅读说明，而不是完整的 URL 发现机制。
Q / 02
robots 放开所有爬虫就够了吗？
不够。还需要让核心页面结构清晰、可抓取、可解析，并通过 sitemap 和站内链接强化发现。
Q / 03
协议文件多久更新一次？
当站点新增重要页面、栏目或内容原则发生变化时，就应同步更新。