是否可以使用 python 请求执行代理链接？

Question

是否可以使用 python requests 执行代理链接？或者是否有任何外部支持来实现这一点，可能仍然使用requests？

我的意思是这样的：

r = requests.get(url=url, proxies={'http': [proxy_1, ..., proxy_n]})

以便请求通过每个代理。

Answer 1

方法有很多，我用下面的一种，

import collections, requests

def ChainProxy(a,proxies,url):
    r=a
    while True:
        try:
            r=r+1
            d = collections.deque(proxies)
            d.rotate(r)
            pp = list(d)
            pp = pp[0]
            stuff = requests.get(url, proxies={'http': 'http://'+pp}).content
            break
        except:
            pass
    return (r,stuff)

你使用它的方式，

proxies = [a,b,c]
r=0

#And then repeat this everytime,
r,stuff=ChainProxy(r,proxies,url)

这每次都会为您提供一个新的r，并为您提供stuff的页面源

我已经实现了try 和except，因为我总是使用免费代理，其中许多都不起作用 :-) 如果您信任您的代理，您可以跳过这一步。

希望有所帮助:-)