被阻止时如何在Scrapy中暂停蜘蛛

Question

我在做一个运行在内网服务器的Scrapy项目，我必须设置一个Proxy才能连接到外面，这样我就不能使用Proxy方式（更改IP）来防止被封禁。

中间件.py：

class SetProxy(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = os.getenv('HTTP_PROXY')

---

我的目标网站即使屏蔽了我也会返回 200 状态响应，所以我只能识别响应的内容来检查我是否被屏蔽

mySpider.py:

def parse(self, response):

    block_msg1 = "FOR SECURITY REASONS, THIS PAGE CAN NOT BE ACCESSED!"
    block_msg2 = "Overrun"

    # not be banned
    if str(response.body).find(block_msg1) == -1 and str(response.body).find(block_msg2) == -1:
        ......        
        yield item

    # get banned
    elif str(response.body).find(block_msg1) != -1 or str(response.body).find(block_msg2) != -1:

        # I want to pause Scrapy (stop sending requests but not stop pipelines' work) for a while here but I don't know how

        yield scrapy.Request(url=response.url, headers=sub_headers, callback=self.parse_sub)

---

当我发现在方法 parse_sub() 中被禁止时，如何让 Scrapy 停止发送请求一段时间但不停止管道，并在 n 分钟后恢复？

Answer 1

您有几个选项可以解决您的问题：

1. 在设置中更改download delay 和/或concurrent requests
2. 使用scrapy AutoThrottle extension