是否有用于从 HTML 页面中提取数据的库？ [关闭]答案

【问题标题】：Is there a library for extracting data from an HTML page? [closed]是否有用于从 HTML 页面中提取数据的库？ [关闭]
【发布时间】：2012-01-23 13:00:18
【问题描述】：

我想从网页中提取信息。不幸的是，据我所知，该网站 (4chan) 没有公共 API。

什么是从 HTML 文档中提取特定数据的好库？我更喜欢在 UNIX 系统上运行的免费软件库。

编辑：基本上我想从 4chan 获取帖子和图片。该网页不是有效的 HTML（并且没有文档类型），因此解析器不应过于严格。

【问题讨论】：

存在很多。你可以很容易地写一本关于这个主题的书。毕竟，它只是 XML。
@Styne HTML 不是 XML。只有 XHTML 是有效的 XML。
@R.Martinho 出于抓取的目的，这非常重要
@Styne Yeh，除非它是 XHTML，否则它实际上不是有效的 XML，因此您不能在其上使用 XML 解析器... HTML 实际上是 SGML 的标记，并且有特定的HTML DOM 解析器。
@Benj 这取决于你的解析器有多严格。

【解决方案1】：

您正在寻找的是 HTML Dom Parse。

【讨论】：

【解决方案2】：

是的，有很多用于解析html数据的库。例如，如果您使用 Perl，则可以使用 HTML::Parse。

如果您只想要一个快速的结果并且您同意使用系统命令，您可以使用：

lynx -dump http://4chan.org

或

links -dump http://4chan.org

【讨论】：