使用 urlretrieve 将图像抓取为 HTML 页面

Question

我正在尝试使用 urllib.urlretrieve 抓取 this image。

>>> import urllib
>>> urllib.urlretrieve('http://i9.mangareader.net/one-piece/3/one-piece-1668214.jpg', 
        path) # path was previously defined

此代码成功地将文件保存在给定路径中。但是，当我尝试打开文件时，我得到：

Could not load image 'imagename.jpg':
    Error interpreting JPEG image file (Not a JPEG file: starts with 0x3c 0x21)

当我在 bash 终端中执行 file imagename.jpg 时，我得到 imagefile.jpg: HTML document, ASCII text。

那么，如何将这张图片抓取为 JPEG 文件呢？

Answer 1

这是因为托管该图像的服务器的所有者故意阻止来自 Python 的 urllib 的访问。这就是它与requests 合作的原因。你也可以用纯 Python 来做，但你必须给它一个 HTTP User-Agent 标头，使它看起来像 urllib 以外的东西。例如：

import urllib2
req = urllib2.Request('http://i9.mangareader.net/one-piece/3/one-piece-1668214.jpg')
req.add_header('User-Agent', 'Feneric Was Here')
resp = urllib2.urlopen(req)
imgdata = resp.read()
with open(path, 'wb') as outfile:
    outfile.write(imgdata)

因此，绕行要多一些，但还不算太糟糕。

请注意，网站所有者这样做可能是因为有些人辱骂了他们。请不要成为他们中的一员！强大的力量伴随着巨大的责任，以及所有这些。