如何在不使用“元”的情况下在 Scrapy Parse 方法之间同步数据？

Question

我想使用其他方法而不是使用 meta，因为 meta 当前用于处理我的蜘蛛中的 302 响应。当我在此字典中添加额外的项目以同步数据时，302 响应被忽略

    def start_requests(self):
        for url in urls:
            self.rowExt = row
            yield scrapy.Request(
                url=url, callback=self.parse, dont_filter=True,
                meta={
                    'dont_redirect': True,
                    'handle_httpstatus_list': [302],
                }
            )

如果我在此字典中添加任何额外的项目，302 响应处理将不起作用。

    def start_requests(self):
        for url in urls:
            self.rowExt = row
            yield scrapy.Request(
                url=url, callback=self.parse, dont_filter=True,
                meta={
                    'dont_redirect': True,
                    'handle_httpstatus_list': [302],
                    'Name': name,
                    'Price': price,
                }
            )

Answer 1

如果你使用的是 Scrapy v1.7+ 可以使用cb_kwargs，用法有点类似。

    yield scrapy.Request(
        url=url, callback=self.parse, dont_filter=True,
        meta={
            'dont_redirect': True,
            'handle_httpstatus_list': [302],
        },
        cb_kwargs={
            'name': name,
            'price': price,
        }
    )

    def parse(self, response, name, price):
        ....

请注意，传入cb_kwargs 的项目作为关键字参数传入回调函数，因此您需要相应地调整函数签名。