在python中使用lxml和requests包解析xml和html页面

Question

我一直在尝试通过在 python 中使用 lxml 和 requests 包来解析 xml 和 html 页面。为此，我使用以下代码：

在python中：

import requests
import lxml.etree
url = ""
req = requests.get(url)
tree = html.fromstring(req.content)
root = tree.xpath('')
for item in root:
     print(item.text)

此代码工作正常，但对于某些网页无法正确显示其内容并需要设置编码 utf-8 但我不知道如何在此代码中添加设置编码

Answer 1

requests 自动解码来自服务器的内容。

重要的理解：

r.content - 包含尚未解码的响应内容

r.encoding - 包含有关响应内容编码的信息

r.text - 根据official doc 它已经是r.content 的解码版本

遵循 unicode 标准，我习惯了r.text，但您仍然可以使用手动解码您的内容

r.content.decode(r.encoding)

希望对你有帮助。