如何从python 3中的url读取html

Question

我查看了以前的类似问题，但更加困惑。

在 python 3.4 中，我想读取一个 html 页面作为字符串，给定 url。

在 perl 中，我使用 LWP::Simple 执行此操作，使用 get()。

一个 matplotlib 1.3.1 示例说：import urllib; u1=urllib.urlretrieve(url)。 python3找不到urlretrieve。

我尝试了u1 = urllib.request.urlopen(url)，它似乎得到了一个HTTPResponse 对象，但我无法打印它或获取它的长度或索引它。

u1.body 不存在。我在 python3 中找不到HTTPResponse 的描述。

HTTPResponse 对象中是否有一个属性可以为我提供 html 页面的原始字节？

（与其他问题无关的内容包括urllib2，它在我的python、csv 解析器等中不存在）

编辑：

我在之前的问题中发现了部分（大部分）起作用的东西：

u2 = urllib.request.urlopen('http://finance.yahoo.com/q?s=aapl&ql=1')

for lines in u2.readlines():
    print (lines)

我说“部分”是因为我不想阅读单独的行，而只想阅读一个大字符串。

我可以将这些行连接起来，但是打印的每一行都在前面加上一个字符“b”。

这是从哪里来的？

再一次，我想我可以在连接之前删除第一个字符，但这确实是个笨蛋。

Answer 1

请注意，Python3 不会将 html 代码读取为字符串，而是将其读取为bytearray，因此您需要将其转换为带有decode 的代码。

import urllib.request

fp = urllib.request.urlopen("http://www.python.org")
mybytes = fp.read()

mystr = mybytes.decode("utf8")
fp.close()

print(mystr)

Answer 2

试试 'requests' 模块，它更简单。

#pip install requests for installation

import requests

url = 'https://www.google.com/'
r = requests.get(url)
r.text

更多信息在这里>http://docs.python-requests.org/en/master/

Answer 3

urllib.request.urlopen(url).read() 应该将原始 HTML 页面作为字符串返回给您。

Answer 4

import requests

url = requests.get("http://yahoo.com")
htmltext = url.text
print(htmltext)

这将类似于urllib.urlopen。

Answer 5

使用 urllib 读取 html 页面非常简单。既然你想把它当作一个字符串来读，我会告诉你的。

导入 urllib.request：

#!/usr/bin/python3.5

import urllib.request

准备我们的请求

request = urllib.request.Request('http://www.w3schools.com')

在请求网页时始终使用“try/except”，因为很容易出错。 urlopen() 请求页面。

try:
    response = urllib.request.urlopen(request)
except:
    print("something wrong")

Type 是一个很棒的函数，它可以告诉我们变量是什么“类型”。这里的 response 是一个 http.response 对象。

print(type(response))

我们的响应对象的读取函数会将 html 作为字节存储到我们的变量中。 type() 将再次验证这一点。

htmlBytes = response.read()

print(type(htmlBytes))

现在我们对 bytes 变量使用 decode 函数来获取单个字符串。

htmlStr = htmlBytes.decode("utf8")

print(type(htmlStr))

如果您确实想将此字符串拆分为单独的行，您可以使用 split() 函数来实现。在这种形式中，我们可以轻松地遍历以打印出整个页面或进行任何其他处理。

htmlSplit = htmlStr.split('\n')

print(type(htmlSplit))

for line in htmlSplit:
    print(line)

希望这能提供更详细的答案。 Python 文档和教程很棒，我会将其用作参考，因为它可以回答您可能遇到的大多数问题。

Answer 6

对于python 2

import urllib
some_url = 'https://docs.python.org/2/library/urllib.html'
filehandle = urllib.urlopen(some_url)
print filehandle.read()