运行 scrapy crawl my_scraper -o ehadith.csv 时出错

Question

我真的需要帮助来解决我的问题。

我有一个错误：

"[scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.islam.gov.my/robots.txt> (referer: None)" 

当我尝试运行scrapy crawl my_scraper -o ehadith.csv

• 这是我的蜘蛛，ehadith_scrapy.py：https://hastebin.com/ererirawit.py
• 这是我的输出：https://hastebin.com/zinibiqado.coffeescript

Answer 1

这不是错误。这是一个调试级别的日志，告诉你蜘蛛成功下载了域的robots.txt 文件。

您遇到的另一个问题是 403 响应。尝试使用AutoThrottle 扩展来减少请求并发。