chenruhai

 

1.使用自己搭好的代理池或者别人搭建好的代理池,一般都是网页api的形式。
【建议多去Github逛逛,有你意想不到的收获,也能提高英语和参与一点项目的改进】

(1)第一步当然是你的api地址了。
例如:

 self.PROXY_POOL_URL = \'http://localhost:5000/get\' 

在这里插入图片描述
(2)向代理池的api发送请求获取返回的IP【一般以字符串返回】

 def get_proxy(self):#代理池 并未启用
        try:
            response = requests.get(self.PROXY_POOL_URL)
            if response.status_code == 200:
                return {
                    \'http\':response.text,
                    \'https\':response.text
                }
            #proxies=Movie.get_proxy(self)
        except ConnectionError:
            return None

 

在这里插入图片描述
(3)获取到之后,注意requests接受的代理的格式是字典格式

2.此外,可以从网上由IP代理的网站边抓取边使用,或者抓取了之后放到数据库或者一个网页的api上方便使用

 

分类:

技术点:

相关文章:

  • 2021-08-07
  • 2021-12-03
  • 2021-08-05
  • 2021-08-07
  • 2021-12-29
  • 2021-07-24
  • 2021-08-07
  • 2021-08-07
猜你喜欢
  • 2022-01-14
  • 2021-08-30
  • 2021-09-17
  • 2022-01-02
  • 2021-12-16
  • 2021-05-02
相关资源
相似解决方案