读取 robots.txt 文件答案

【问题标题】：Reading robots.txt file读取 robots.txt 文件
【发布时间】：2019-01-27 16:52:21
【问题描述】：

在下面的 robots.txt 文件中，它表示禁止 magpie-crawler 的所有目录。假设我使用了一个不同的网络爬虫，比如 Scrapy。这个 robots.txt 没有列出任何其他内容，那么是否允许scrapy bot 抓取？

User-agent: magpie-crawler
Disallow: /


Sitemap: https://www.digitaltrends.com/sitemap_index.xml
Sitemap: https://www.digitaltrends.com/news.sitemap.google.xml
Sitemap: https://www.digitaltrends.com/image-sitemap-index.xml

【问题讨论】：

标签： web-crawler robots.txt

【解决方案1】：

根据official website，这确实意味着只有一个机器人是不允许的。如果需要，您可以使用 Scrapy。

如果他们愿意，他们可以只允许一个机器人：

User-agent: Google
Disallow: 

User-agent: * 
Disallow: /

【讨论】：

【解决方案2】：

您可以使用 Scrapy 解析数据。只需在标题中描述您是 Scrapy 设置中的 WEB-BROWSER 即可：

'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36'

【讨论】：