使用 python mechanize 和带有随机代理支持的 urllib2答案

【问题标题】：Using python mechanize and also urllib2 with random proxy support使用 python mechanize 和带有随机代理支持的 urllib2
【发布时间】：2013-08-22 16:38:50
【问题描述】：

例如，我有一些 http 代理：

123.123.123.123:2312
121.111.3.89:8080
111.133.1.111:23810
114.113.1.113:23812
111.133.1.114:23810

他们都有相同的用户名和密码：testuser 和 testpass

我正在尝试将随机代理支持纳入以下内容：

import urllib2
import httplib
def check():
    try:
        urllib2.urlopen("", timeout = 60)
        return True
    except (IOError, httplib.HTTPException):
        return False

还尝试将其合并到以下内容中：

import mechanize
def gethtml():
        post_url = ""
        browser = mechanize.Browser()
        browser.set_handle_robots(False)
        browser.addheaders = [('User-agent', 'Firefox')]

        try:
            html = browser.open(post_url).read()
        except Exception:
            return

还有类似的：

import mechanize
def check2():
    post_url = ""
    browser = mechanize.Browser()
    browser.set_handle_robots(False)
    browser.addheaders = [('User-agent', 'Firefox')]
    parameters = {'page' : '1',
                  'sortorder' : 'asc'
                 }

    data = urllib.urlencode(parameters)

    try: 
        trans_array = browser.open(post_url,data).read().decode('UTF-8')
    except Exception:
        return

我最大的问题是我尝试过的一切，我得到以下两个错误：

httperror_seek_wrapper: HTTP Error 407: Proxy Authentication Required

HTTPError: HTTP Error 407: Proxy Authentication Required

谁能帮我创建一些工作示例，将不胜感激。

【问题讨论】：

所以你只是问如何使用 urllib2 代理和机械化？我认为那里有很多教程。如果您有一些无法修复的错误 - 尝试发布给您此错误的实际代码，有人可能会帮助您

标签： python python-2.7 proxy urllib2 mechanize

【解决方案1】：

mechanize 的“随机代理支持”？会不会只是 regular mechanize proxy stuff，但是从您的代理列表中随机选择一个代理？

如果是这样，你可以试试这个：

import mechanize
import random

proxies = [
    '123.123.123.123:2312',
    '121.111.3.89:8080'
    '111.133.1.111:23810',
    '114.113.1.113:23812',
    '111.133.1.114:23810',
    ]
rand_proxy = random.choice(proxies)

browser = mechanize.Browser()
browser.set_proxies({'http': rand_proxy})
browser.add_proxy_password('testuser', 'testpass')

【讨论】：