中文问答
llms.txt 和 robots.txt 的区别是什么?
简单说:robots.txt 决定“能不能抓”,llms.txt 决定“优先看哪些来源”。
robots.txt 的作用
- 定义爬虫访问权限(Allow / Disallow)。
- 可按 User-agent 区分不同策略。
llms.txt 的作用
- 列出最有价值、最适合被引用的页面。
- 帮助 AI 系统理解站点核心信息结构。
实操建议
先明确 robots 访问策略,再写 llms.txt 做来源精选,两个文件保持一致更新。