lxml.html 找不到正文标记

Question

我使用 lxml.html 来解析各种 html 页面。现在我认识到，至少对于某些页面，尽管它存在并且漂亮的汤找到了它（即使它使用 lxml 作为解析器），但它没有找到 body 标签。

示例页面：https://plus.google.com/（剩下的部分）

import lxml.html
import bs4

html_string = """
    ... source code of https://plus.google.com/ (manually copied) ...
"""

# lxml fails (body is None)
body = lxml.html.fromstring(html_string).find('body')

# Beautiful soup using lxml parser succeeds
body = bs4.BeautifulSoup(html_string, 'lxml').find('body')

欢迎对这里发生的事情进行任何猜测 :)

更新：

问题似乎与编码有关。

# working version
body = lxml.html.document_fromstring(html_string.encode('unicode-escape')).find('body')

Answer 1

你可以这样使用：

import requests
import lxml.html

html_string = requests.get("https://plus.google.com/").content
body = lxml.html.document_fromstring(html_string).find('body')

body 变量包含 body html 元素