如何通过 python 通过不同的 IP 发送 GET 请求？答案

【问题标题】：How to send GET requests via python over different IPs?如何通过 python 通过不同的 IP 发送 GET 请求？
【发布时间】：2018-11-11 03:09:44
【问题描述】：

我目前正在尝试从交易所收集数据以进行深度学习。问题是我需要具有高分辨率（第二个间隔）的数据，因此我为每种货币创建了很多 GET 请求。但我确实很快达到了 API 的极限。

我想知道是否有可能通过公共代理服务器路由 GET 请求，以声称拥有不同的 IP 地址以使用 Raspberry PI 发出尽可能多的请求。

【问题讨论】：

您希望我们帮助您规避 API 的速率限制？
我需要，否则我将无法获得所需的数据

标签： python https proxy python-requests

【解决方案1】：

如果您需要使用不同的代理/IP 地址进行 GET...

尝试代理请求。我不确定这是否是您要问的，但似乎您可能达到了对 API 端点的请求限制。一些组织限制允许来自某些 IP 地址的请求数量。

这是一个使用 python 代理请求的示例 GET，以便您的 IP 将有所不同：

pip3 install proxy-requests

from proxy_requests.proxy_requests import ProxyRequests
r = ProxyRequests("https://api.ipify.org")
r.get()

pypi

github

该模块似乎使用抓取的代理来发出请求。我只是快速尝试并成功了

【讨论】：

如何提供标题
post请求如何使用？

【解决方案2】：

这只是经过验证的答案的更详细版本

如何下载？

pip3 install proxy-requests

基本 GET 请求示例

from proxy_requests import ProxyRequests
r = ProxyRequests("https://dog.ceo/api/breeds/image/random")
r.get()

带有标头的 GET 请求示例

from proxy_requests import ProxyRequests
h = {'User-Agent': 'NCSA Mosaic/3.0 (Windows 95)'}                                                             
r = ProxyRequests('url here')                                                                                  
r.set_headers(h)                                                                                               
r.get_with_headers()

POST 请求示例

from proxy_requests import ProxyRequests
r = ProxyRequests('url here')                                                                                  
r.post({'key1': 'value1', 'key2': 'value2'})

带有标头的 POST 请求示例

r = ProxyRequests('url here')
r.set_headers({'name': 'rootVIII', 'secret_message': '7Yufs9KIfj33d'})
r.post_with_headers({'key1': 'value1', 'key2': 'value2'})

带有身份验证的请求示例

r = ProxyRequestsBasicAuth('url here', 'username', 'password')
r.get()

顺便说一句，所有这些东西在Github repository上已经提到了。

【讨论】：