【发布时间】:2020-11-23 12:31:13
【问题描述】:
我正在从亚马逊刮价格,一切正常,除了我面临位置问题,显然有些产品在美国以外不可用,所以当我的程序运行时它无法获取价格,我正在使用 Crawlera美国 IP 代理,但对于少数请求仍然失败。
有什么方法可以将它锁定在美国,使用发送 Cookie 或类似的东西。任何帮助或参考都会非常有帮助。提前致谢。
【问题讨论】:
标签: web-scraping scrapy crawlera
我正在从亚马逊刮价格,一切正常,除了我面临位置问题,显然有些产品在美国以外不可用,所以当我的程序运行时它无法获取价格,我正在使用 Crawlera美国 IP 代理,但对于少数请求仍然失败。
有什么方法可以将它锁定在美国,使用发送 Cookie 或类似的东西。任何帮助或参考都会非常有帮助。提前致谢。
【问题讨论】:
标签: web-scraping scrapy crawlera
当您使用 Crawlera 时,您可以通过网页界面创建一个新帐户并将区域设置为美国。然后将您的 API 密钥替换为您新创建的帐户的密钥。
请参阅this 指南以供参考。
【讨论】: