【发布时间】：2012-06-28 10:27:48
【问题描述】：
我正在开发一个在经过身份验证的情况下抓取网站的蜘蛛，它使用多个用户和多个代理。无论如何我可以处理 cookie、代理和会话，以便每个用户使用特定的 cookie 和特定的代理，这样抓取东西就没有问题了吗？
目前，我可以在经过身份验证且使用单个 IP 的情况下使用一个用户进行爬网，但希望对更多用户进行此操作。
【问题讨论】：
标签： python session-cookies scrapy
【发布时间】：2012-06-28 10:27:48
【问题描述】：
这是可能的，但需要一些工作。
我可以想到两种方法来实现这一点：
- 手动调整每个
Request和Response，这似乎更简单 - 编写一个更复杂但更通用的中间件
在这两种情况下，这些信息都会有所帮助：
- 使用dont_merge_cookies 和CookieJar
- 您可以根据请求set a proxy
【讨论】：