【发布时间】:2015-05-28 03:26:40
【问题描述】:
我正在编写一个简单的 Python 3 脚本来检索 HTML 数据。这是我的测试脚本:
import urllib.request
url="http://techxplore.com/news/2015-05-audi-r8-e-tron-aims-high.html"
req = urllib.request.Request(
url,
data=None,
headers={
'User-agent': 'Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11',
'Referer': 'http://www.google.com'
}
)
f = urllib.request.urlopen(req)
这适用于大多数网站,但对于某些网站会返回以下错误:
urllib.error.URLError: <urlopen error [Errno 110] Connection timed out>
脚本中显示的 URL 是返回此错误的站点之一。根据其他帖子和网站的研究,似乎手动设置用户代理和/或引用者应该可以解决问题,但这个脚本仍然超时。我不确定为什么这只发生在某些网站上,我不知道还有什么可以尝试的。我非常感谢社区可以提供的任何建议。
【问题讨论】:
-
你试过python-requests docs.python-requests.org/en/latest吗?
-
从未听说过,但看起来很有用。我会记下来的。