Scrapy 和 python：DNS 查找失败：主机名查找没有结果 - 代理问题？

Question

我正在尝试使用 Scrapy 和 Python 从我公司的 IT 和网络中抓取一些页面。我从这里开始使用scrapy 教程https://doc.scrapy.org/en/latest/intro/tutorial.html

当我尝试与教程页面上的代码相同的代码时，我得到了错误：

2018-01-24 11:49:04 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://quotes.toscrape.com/robots.txt> (failed 1 times): DNS lookup failed: no results for hostname lookup: quotes.toscrape.com.

因此，我尝试设置我的代理服务器以获取连接，我也必须这样做才能使用 pip install（仅作为示例）。我通过更改教程的代码来做到这一点，使用 Scrapy and proxies 的 Amom 方法：

import scrapy
class QuotesSpider(scrapy.Spider):
    name = "quotes"
    def start_requests(self):
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            request = scrapy.Request(url=url, callback=self.parse)
            request.meta['proxy'] = "user@proxy:port"
            yield request

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
        f.write(response.body)
        self.log('Saved file %s' % filename)

有人知道如何解决这个问题吗？我真的需要让它工作。提前致谢。

Answer 1

这意味着他们正在阻止scrapy，即他们不允许任何人抓取他们的网站。对不起，你无能为力。