Scrapy redirect_urls 异常.KeyError

Question

我是 Scrapy 和 Python 的新手，最近推出了我的第一个蜘蛛。有一个功能似乎以前有效，但现在它只适用于我试图废弃的一些网站。

代码行是：

item['url_direct'] = response.request.meta['redirect_urls']

我得到的错误是：

exceptions.KeyError: 'redirect_urls'

我已经为此苦苦挣扎了一段时间，因此非常感谢任何线索或希望提供更详细的答案。 （在这里或网络上没有找到类似的问题）。

Answer 1

因此，response.request.meta['redirect_urls'] 由 RedirectMiddleware 设置为请求在重定向时可能经过的任何 URL。

对于尚未重定向的请求，该代码将失败并返回 KeyError。

由于response.request.meta 只是一个字典，你可以使用：

item['url_direct'] = response.request.meta.get('redirect_urls')

或者你可以在设置前检查一下：

if 'redirect_urls' in response.request.meta:
    item['url_direct'] = response.request.meta['redirect_urls']

另见：

• RedirectMiddleware docs
• how to get the original start_url in scrapy (before redirect)（相关问题）