即使在处理 302 状态时，Scrapy 也会重定向我

Question

我在亚马逊抓取时遇到了一些问题。我一直在不提供任何结果的页面上被重定向 (302)，而我使用（我相信）适当的设置。

这里是 start_requests 函数：我根据来自 CSV 文件的产品代码构建了一个搜索 URL：

def start_requests(self):
    input_file_products = open("file.csv", 'r', encoding="utf-8", errors="ignore")
    reader = csv.reader(input_file_products)
    for row in reader:
        if row:
            base_url = "https://www.amazon.fr/s/ref=nb_sb_noss?"
            "__mk_fr_FR=ÅMÅŽÕÑ&url=search-alias%3Daps&field-keywords="
            ean = row[0]
            absolute_url = base_url + ean
            yield scrapy.Request(
                absolute_url,
                meta={
                    'dont_redirect': True,
                    "handle_httpstatus_list": [302, 301],
                },
                callback=self.parse
            )

但是我得到这样的代码： 调试：从 https://www.amazon.fr/s/ref=nb_sb_noss?3538280031515>

抓取

并且没有得到任何结果。我已经指定不重定向为 True，并按照建议处理代码 302 和 301。

你会怎么做？

Answer 1

当我通过搜索栏搜索时，我的链接是：search link

但它与您的不匹配，从 search-alias%3D 到 onward。它可能会生成动态链接，请更新您的链接并重试。