在网页中查找“文章”的算法？

【问题标题】：algorithm to find 'article' in webpage?在网页中查找“文章”的算法？
【发布时间】：2012-09-06 06:54:30
【问题描述】：

一些浏览器插件，例如readability 可以从网页中提取“文章”。有谁知道如何做到这一点？真品和广告或cmets有什么区别？

【问题讨论】：

我猜你是在提到新闻文章或有点。每个网站都有自己的 html 结构显示文章，您必须为每个网站创建特定的解析器来提取文章。没有超级算法可以做到这一切。
我不这么认为。至少有一个开源文章提取器：github.com/jiminoc/goose/wiki 我不相信 Readability 实现了数千个解析器

【解决方案1】：

好吧，这取决于您要如何定义“真实文章”...

考虑到 HTML5，网页是由语义标签构成的。页面不再需要使用像 <div> 这样完全没有语义的元素来构建。在 HTML5 中，您可以使用 <section>、<article>、<header> and so on。这些元素可以让应用程序很好地了解网页的主要内容是什么（例如打印<article>s 并跳过<nav>s...）

当然，目前还没有多少页面使用这些标签。此外，标签可能会被滥用并失去其意义。在那种情况下，我会坚持一些统计数据，例如选择 HTML 文档中最大的元素。此外，如果你必须抓取网页，你可以使用一些模式匹配算法的修改，例如 DIPRE。

【讨论】：