等效于使用 lxml.html 解析 HTML 时的 InnerHTML

Question

我正在编写一个使用 lxml.html 来解析网页的脚本。我曾经做过一些 BeautifulSoup，但由于它的速度，我现在正在尝试使用 lxml。

我想知道库中最明智的方法是做相当于 Javascript 的 InnerHtml 的方法——即检索或设置标签的完整内容。

<body>
<h1>A title</h1>
<p>Some text</p>
</body>

InnerHtml 因此是：

<h1>A title</h1>
<p>Some text</p>

我可以使用 hacks（转换为字符串/正则表达式等）来做到这一点，但我假设有一种正确的方法可以使用由于不熟悉而丢失的库。感谢您的帮助。

编辑：感谢 pobk 如此快速有效地向我展示了这方面的方法。对于任何尝试相同的人，这就是我最终得到的结果：

from lxml import html
from cStringIO import StringIO
t = html.parse(StringIO(
"""<body>
<h1>A title</h1>
<p>Some text</p>
Untagged text
<p>
Unclosed p tag
</body>"""))
root = t.getroot()
body = root.body
print (element.text or '') + ''.join([html.tostring(child) for child in body.iterdescendants()])

请注意，lxml.html 解析器会修复未关闭的标签，因此请注意这是否有问题。

Answer 1

这是 Python 3 版本：

from xml.sax import saxutils
from lxml import html

def inner_html(tree):
    """ Return inner HTML of lxml element """
    return (saxutils.escape(tree.text) if tree.text else '') + \
        ''.join([html.tostring(child, encoding=str) for child in tree.iterchildren()])

请注意，这包括按照andreymal 的建议转义初始文本——如果您正在使用经过清理的 HTML，则需要这样做以避免标签注入！

Answer 2

import lxml.etree as ET

     body = t.xpath("//body");
     for tag in body:
         h = html.fromstring( ET.tostring(tag[0]) ).xpath("//h1");
         p = html.fromstring(  ET.tostring(tag[1]) ).xpath("//p");             
         htext = h[0].text_content();
         ptext = h[0].text_content();

你也可以使用.get('href')作为标签和.attrib作为属性，

这里的标签号是硬编码的，但你也可以动态地做这个

Answer 3

很抱歉再次提出此问题，但我一直在寻找解决方案，而您的解决方案包含错误：

<body>This text is ignored
<h1>Title</h1><p>Some text</p></body>

直接在根元素下的文本被忽略。我最终这样做了：

(body.text or '') +\
''.join([html.tostring(child) for child in body.iterchildren()])

Answer 4

您可以使用根节点的 getchildren() 或 iterdescendants() 方法获取 ElementTree 节点的子节点：

>>> from lxml import etree
>>> from cStringIO import StringIO
>>> t = etree.parse(StringIO("""<body>
... <h1>A title</h1>
... <p>Some text</p>
... </body>"""))
>>> root = t.getroot()
>>> for child in root.iterdescendants(),:
...  print etree.tostring(child)
...
<h1>A title</h1>

<p>Some text</p>

这可以简写如下：

print ''.join([etree.tostring(child) for child in root.iterdescendants()])