如何在 Python 2.7 中重新创建 urllib.requests？

Question

我正在抓取一些网页并解析其中的一些数据，但其中一个网站似乎阻止了我的请求。使用带有 urllib.requests 的 Python 3 的代码版本可以正常工作。我的问题是我需要使用 Python 2.7，而我无法使用 urllib2 得到响应

这些请求不应该是相同的吗？

Python 3 版本：

def fetch_title(url):
    req = urllib.request.Request(
        url, 
        data=None, 
        headers={
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
        }
    )
    html = urllib.request.urlopen(req).read().encode('unicode-escape').decode('ascii')

    return html

Python 2.7 版本：

import urllib2

opener = urllib2.build_opener()
opener.addheaders = [(
            'User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
        )]
response = opener.open('http://website.com')

print response.read()

Answer 1

以下代码应该可以工作，基本上使用 python 2.7，您可以使用所需的标头创建一个字典并格式化您的请求，使其可以使用 urllib2.Request 与 urllib2.urlopen 一起正常工作。

import urllib2

def fetch_title(url):
    my_headers = {
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36"
    }
    return urllib2.urlopen(urllib2.Request(url, headers=my_headers)).read()