如何使用 Python 3 获取网站的 HTML？

Question

我一直在尝试使用 repl.it 执行此操作，并在此站点上尝试了多种解决方案，但都没有奏效。现在，我的代码看起来像

import urllib
url = "http://www.pythonchallenge.com/pc/def/linkedlist.php?nothing=12345"
print (urllib.urlopen(url).read())

但它只是说“AttributeError：模块'urllib'没有属性'urlopen'”。

如果我添加 import urllib.urlopen，它会告诉我没有名为那个的模块。我该如何解决我的问题？

Answer 1

您用于 urllib 库的语法来自 Python v2。 Python v3 的库有所改变。新的符号看起来更像：

import urllib.request
response = urllib.request.urlopen("http://www.google.com")
html = response.read()

html 对象只是一个字符串，带有返回的站点 HTML。与原始的 urllib 库非常相似，您不应期望图像或其他数据文件包含在此返回的对象中。

这里令人困惑的部分是，在 Python 3 中，如果这样做会失败：

import urllib
response = urllib.request.urlopen("http://www.google.com")
html = response.read()

据我所知，这种奇怪的模块导入行为符合预期并且可以正常工作。但这是不直观和尴尬的。更重要的是，对您而言，它使情况更难调试。享受吧。

Answer 2

Python3

import urllib
import requests
url = "http://www.pythonchallenge.com/pc/def/linkedlist.php?nothing=12345"
r = urllib.request.urlopen(url).read()
print(r)

或

import urllib.request
url = "http://www.pythonchallenge.com/pc/def/linkedlist.php?nothing=12345"
r = urllib.request.urlopen(url).read()
print(r)