使用 Scrapy Spider 发送请求标头以避免 403 响应状态

Question

我正在向website 发出请求，但我收到了403 响应。我们如何使用 scrapy 蜘蛛发送请求标头，以便我们可以得到 200 响应？

此外，网站会使用新请求更新 cookie。当我们发出新请求时，是否可以使用 scrapy 蜘蛛旋转 cookie？

# -*- coding': 'utf-8 -*-
import scrapy


    class MainSpider(scrapy.Spider):
        name = 'main'
        allowed_domains = ['11880.com']
        start_urls = ['https://www.11880.com/suche/makler/deutschland']
    
        def parse(self, response):
            print(response.body)

希望得到一些答案。

问候

---

Answer 1

这意味着没有访问权限检查您的标头参数是否通过。不正确

Answer 2

覆盖start_requests() 方法并传递headers 参数。

import scrapy

class MainSpider(scrapy.Spider):
    name = 'main'
    allowed_domains = ['11880.com']
    start_urls = ['https://www.11880.com/suche/makler/deutschland']
    headers = {
        'header1': 'value1',
        'header2': 'value2'
    }

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url=url, callback=self.parse, headers=self.headers)

    def parse(self, response):
        print(response.body)