作用
网站告诉爬虫哪些可以爬取，哪些不能爬取。
https://www.jd.com/robots.txt
User-agent: 对于任意的网络爬虫来源，它定义为User-agent
Disallow: ? 任何爬虫哪个都不允许访问以问号开头的文件
*代表所有/代表目录
相关文章：
相似解决方案
热门标签
网站告诉爬虫哪些可以爬取，哪些不能爬取。
https://www.jd.com/robots.txt
User-agent: 对于任意的网络爬虫来源，它定义为User-agent
Disallow: ? 任何爬虫哪个都不允许访问以问号开头的文件
*代表所有/代表目录
相关文章：