【问题标题】:How to preserve namespace information when parsing HTML with lxml?使用 lxml 解析 HTML 时如何保留命名空间信息?
【发布时间】:2011-09-29 15:34:50
【问题描述】:
>>> from lxml.etree import HTML, tostring
>>> tostring(HTML('<fb:like>'))
'<html><body><like/></body></html>'

请注意标签如何从 &lt;fb:like&gt; 变为简单的 &lt;like&gt;。

这使得处理包含 XFBML 和 lxml 的页面变得更加困难。 (同样的事情发生在&lt;g:plusone&gt;&lt;/g:plusone&gt;)

感谢任何帮助。

【问题讨论】:

  • HTML 没有命名空间。欢迎来到扩展元素的后果。如果它是 XHTML + FBML(而不是 HTML + FBML),那么您可以使用 XML 解析器。
  • 如果是 XML,我会拥有的。弹性 HTML 解析器的关键在于它们可以完成工作。虽然我也不喜欢这些魔术标签名称,但我认为期望 lxml 保留它们是合理的。我会尝试与维护人员交谈,看看是否可以容纳。

标签: python html lxml facebook-like xml-namespaces


【解决方案1】:

解决此问题的一种方法是发送至patch libxml2。

参考libxml2.9.2的源码(https://git.gnome.org/browse/libxml2/tree/?id=v2.9.2),在SAX2.c(https://git.gnome. org/browse/libxml2/tree/SAX2.c?id=v2.9.2)(用于创建 DOM 树的内部 SAX 解析器)在第 1699 行带有 xmlns 的属性在 HTML 模式下不会被解析,它们会像任何第 1740 行和第 1740 行的其他属性。因此,调整第 1622 行是有意义的,它将名称拆分为前缀和本地部分。变化:

name = xmlSplitQName(ctxt, fullname, &prefix);

进入

if (!ctxt->html) {
    name = xmlSplitQName(ctxt, fullname, &prefix);
} else {
    name = xmlStrdup(fullname);
    prefix = NULL;
}

然后libxml2会将&lt;o:p&gt;等标签视为名称为o:p的元素,即冒号包含在元素名称中,没有特殊含义。这是 HTML 中的正确解释。例如the HTML5 specification says:

在 HTML 语法中,命名空间前缀和命名空间声明的效果与 XML 不同。例如,冒号在 HTML 元素名称中没有特殊含义。

希望此更改将被批准用于 libxml2 的未来版本。有一个开放的错误报告 (https://bugzilla.gnome.org/show_bug.cgi?id=654146)。

【讨论】:

  • 虽然此链接可能会回答问题,但最好在此处包含答案的基本部分并提供链接以供参考。如果链接页面发生更改,仅链接的答案可能会失效。
  • @Marcus 好的,已在此处添加详细信息。对丑陋的链接感到抱歉。我没有足够的声誉将它们包含为真正的链接。
【解决方案2】:

尝试添加缺少的命名空间前缀定义。 lxml 将avoid the namespaces otherwise,据说是为了让你更容易。

您尝试解析的站点很可能不包含这些命名空间定义,因此您应该添加它们。

类似这样的:xmlns:adlcp="http://xxx/yy/zzz"

【讨论】:

    猜你喜欢
    • 2015-06-16
    • 2020-11-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-04-03
    • 1970-01-01
    • 2019-06-23
    • 1970-01-01
    相关资源
    最近更新 更多