【问题标题】:Python urllib timeout error even with headers for certain websitesPython urllib 超时错误,即使是某些网站的标题
【发布时间】:2015-05-28 03:26:40
【问题描述】:

我正在编写一个简单的 Python 3 脚本来检索 HTML 数据。这是我的测试脚本:

import urllib.request

url="http://techxplore.com/news/2015-05-audi-r8-e-tron-aims-high.html"

req = urllib.request.Request(
    url, 
    data=None, 
    headers={
        'User-agent': 'Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11',
        'Referer': 'http://www.google.com'
    }
)

f = urllib.request.urlopen(req)

这适用于大多数网站,但对于某些网站会返回以下错误:

urllib.error.URLError: <urlopen error [Errno 110] Connection timed out>

脚本中显示的 URL 是返回此错误的站点之一。根据其他帖子和网站的研究,似乎手动设置用户代理和/或引用者应该可以解决问题,但这个脚本仍然超时。我不确定为什么这只发生在某些网站上,我不知道还有什么可以尝试的。我非常感谢社区可以提供的任何建议。

【问题讨论】:

标签: python timeout urllib


【解决方案1】:

我今天再次尝试了该脚本,没有进行任何更改,并且运行良好。看起来这只是远程 Web 服务器发生的一些奇怪的事情。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-09-20
    • 1970-01-01
    • 2010-12-16
    • 1970-01-01
    • 2017-05-29
    • 1970-01-01
    • 2018-05-15
    • 1970-01-01
    相关资源
    最近更新 更多