关于获取IP代理及使用

基于不同的需求国内/国外需要选择不同的代理池
国外

1. Scraper API
   https://www.scraperapi.com/
   一种特殊的代理池，能够很方便的进行进行IP代理的简单爬虫
   貌似不支持一些高级功能，如阻止重定向
   代理IP数量级别：百万
   支持功能： 自定义headers, 固定&轮询代理，无头浏览器，自定义地理位
   置。
   
   2.Smart Proxy
   https://smartproxy.com/
   代理IP数量级别：千万
   正常HTTP代理：
   
   3.Luminati
   https://luminati-china.biz/
   高级HTTP代理
   代理IP数量级别：千万
   月最低消费$500起，40G流量

4.Scraping Hub
类似于SmartPoxy

国内
参考文章(虽然有点旧，但好歹能说明一些问题）
https://zhuanlan.zhihu.com/p/33576641

总结
1.测试。国外的测不起啊；最低的网站最低套餐月付25刀起，很多网站最低五六百刀起。如果拿来只是测试，那是真的亏。
2.爬虫这种东西要结合实际项目来，爬取国内网站还是国外网站，预计流量多大，爬取次数多少等选择
3.如果我们有能力，自己搭建一个常规的HTTP代理池，作为常规服务自然很好。但如果非要租，最好还是有需求的时候选用，租一个作为常规服务太浪费了