在 Python 中使用 urllib2 打开网页时出现 403 'Access Denied' 错误

Question

我正在尝试通过打开此 url https://www.google.com/search?q=define+<something> 并解析定义的源来使用 Google 和 urllib2 获取单词的定义。但是，当我尝试访问该页面时，我得到一个 403 错误，据说是为了防止以这种方式进行数据挖掘。我相当肯定尝试绕过它是不明智的，所以我想知道是否有替代方法可以从 Google 的服务器访问数据，或者我应该使用数据转储。

编辑：这是我用来访问 URL 的代码范围；

url = "https://www.google.com/search?q=define+" + word
try:
    source = ulib.urlopen(url)
except ulib.HTTPError, e:
    print e.fp.read()

Answer 1

我们需要查看您的代码以进行确认，但您的问题可能已得到回答 here。简而言之，您需要定义您的用户代理。