搜索引擎爬虫 Web Crawler / Spider
别名：爬虫 / 蜘蛛 / Spider
本词条约 199 字 阅读约 1 分钟 更新于
搜索引擎爬虫（蜘蛛）是自动遍历互联网、抓取网页内容并交给搜索引擎索引的程序。它顺着链接从一个页面爬到下一个，因此站内链接结构、robots.txt 与站点可访问性都会影响它能抓到多少、抓得多深。
与网站的关系
给爬虫清晰的内链路径与 sitemap，能让它更高效地发现与抓取重要页面；把内容放在纯 JS 渲染、爬虫难以执行的结构里，可能造成抓取不全。合理控制抓取频率、避免生成大量低质页，也是良好实践。
参考资料
- [1] 挺对网抓取友好说明