【发布时间】:2016-07-13 12:49:27
【问题描述】:
我在我的 Scrapy-Selenium Crawler 中使用 Crawlera。
但我只需要使用来自 法国 的 IP。
如何配置我的 crawlera 来做到这一点。
custom_settings = {
'DOWNLOADER_MIDDLEWARES' : {'scrapy_crawlera.CrawleraMiddleware': 600},
'CRAWLERA_ENABLED' : True,
'CRAWLERA_APIKEY' : //my appikey,
'DOWNLOAD_DELAY' : 0,
'COOKIES_ENABLED' : True,
}
【问题讨论】:
标签: selenium web-scraping scrapy web-crawler scrapinghub