别名：robots 文件
本词条约 177 字 | 阅读约 1 分钟 | 更新于 2026-08-01
robots.txt 是放在网站根目录、告诉爬虫哪些可以抓、哪些不该抓的文本文件。它用规则限制抓取路径，是控制抓取范围的常用手段。要注意它是「抓取指令」而非「访问密码」，不能用来保密。
屏蔽后台、搜索页、测试目录等不希望被索引的路径；用 Sitemap: 行告诉爬虫站点地图的位置。写错规则（如误屏蔽整站）会导致大面积不收录，改版迁移时尤其要检查。