HTML文本分析

Question

我有一个爬虫，它从网络上收集文章并将标题和正文存储到数据库中。到目前为止，程序员必须为每个源（通常是 XPath，有时是正则表达式）提出一组规则，以指向网页的文章标题和正文部分。现在我正试图向前迈出一步，让程序自动检测文章的标题和正文。我的第一种方法是根据一些通用标准为每个元素添加权重。例如：

//@x-weight = 1.0

//h1/@x-weight * 2.0

//h2/@x-weight * 1.8

还有很多规则，但你明白了。在根据标记分配权重后，我会考虑其他一些方面，例如与/head/title 的相似性和关键字的数量。这种方法虽然为大多数网页产生了不错的结果（感谢 SEO 专家：P），但对于其他一些网页来说却是灾难性的失败。我正在考虑使用artificial neural network 的可能性，但我找不到足够的证据证明我会得到明显更好的结果。另一种选择是将 CSS 引入游戏并根据字体大小调整权重。

问题：

1. 我应该选择哪条路？
2. 我错过了什么吗？
3. 有更好的方法吗？

PS：我知道这样的问题没有完美的解决方案。

Answer 1

我的建议是查看 CSS，而不是 h1、h2、h3，因为大多数网站并没有真正使用它们。大字体可能意味着标题，比给定的标签和关键字更清楚。

带有大段文字的小字体很可能是正文。

我认为没有真正的好方法可以做到这一点，除非你表现得像是在使用网络浏览器查看页面，而不是仅仅查看源代码（因为这就是人们阅读的方式。然而，使用网页的图片，然后使用图像处理提取内容的可行性是完全不现实的。

希望对你有帮助。

Answer 2

很难提出适用于多个网站的权重/规则 - 就一致性或标准 css 的使用而言，有些网站非常糟糕。最后我认为最好的可能是组合：

1. 使用字体大小
2. 使用常用的 html 标签 标题，即 h1、h2 等。
3. 查找标题元属性。
4. 查找 css 类属性 常用于文章/标题 (i. *文章)
5. 查找文本在其中的位置 页面（即通常标题在 页面的前 1/3）

使用这些标准的加权组合生成分数。作为配置部分，每个站点的权重可能因站点而异。