Python 3，urlopen - HTTP 错误 403：禁止

Question

我正在尝试自动下载出现在 google 图片搜索中的第一张图片，但我无法读取网站源代码并出现错误（“HTTP 错误 403：禁止访问”）。 有任何想法吗？谢谢您的帮助！

这是我的代码：

from urllib.request import urlopen
from bs4 import BeautifulSoup

word = 'house'
r = urlopen('https://www.google.pl/search?&dcr=0&tbm=isch&q='+word)
data = r.read()

Answer 1

显然您必须传递 headers 参数，因为该网站阻止您认为您是请求数据的机器人。我在这里找到了一个这样做的例子HTTP error 403 in Python 3 Web Scraping。

另外，urlopen 对象不支持headers 参数，所以我不得不改用Request 对象。

from urllib.request import urlopen, Request
from bs4 import BeautifulSoup

word = 'house'
r = Request('https://www.google.pl/search?&dcr=0&tbm=isch&q='+word, headers={'User-Agent': 'Mozilla/5.0'})
response = urlopen(r).read()