在scrapy文件中设置用户代理

Question

我希望根据请求将我的useragent 设置为不同的值。

我目前有在网页上查找链接的代码：

    wee_result_page = []
    start_urls = ['oneurl.com']

    NEXT_PAGE_SELECTOR = 'a.sb_pagN ::attr(href)'
    next_page = response.css(NEXT_PAGE_SELECTOR).extract_first()
    if next_page:
        yield scrapy.Request(
            response.urljoin(next_page),
            callback=self.parse,
            headers={'referer':start_urls}
        )
        wee_result_page.append(response.urljoin(next_page)) 

我想知道在哪里以及如何在此处添加 user agent 字符串，该字符串会随每个请求而变化？

谢谢

Answer 1

您可以将每个请求设置为标头或创建自定义下载器中间件，将随机用户代理附加到每个请求，但是有许多可用的用户代理轮换中间件，例如，这将为您完成这项工作。） https://github.com/cnu/scrapy-random-useragent