如何scrapy处理dns查找失败

Question

我希望在抓取域 Scrapy 时处理 DNS 错误。

这是我看到的错误：

ERROR: Error downloading <GET http://domain.com>: DNS lookup failed: address 'domain.com' not found [Errno 8] nodename nor servname provided, or not known.

当我收到这样的错误时如何通知我，这样我就可以自己处理它，而不需要 Scrapy 只是抛出错误并继续前进。

Answer 1

将errback 与回调一起使用：

Request(url, callback=your_callback, errback=your_errorback)

和errback:

def your_errorback(self, response):
    //your logic will be here

Answer 2

请检查
allowed_domains = ['abc.xyz.domain_name'] 的值 start_urls = ['http://abc.xyz.domain_name//'] 可能是正确的。