如何在网页上找到内容根标签

Question

我需要找到一个网页的主要内容并将其提取到数据库中。

Evernote Webclipper 和其他插件——我将它们用于 Chrome——为了便于阅读网页，能够找到网页的主要内容并消除所有其他干扰，将文本重新格式化为更大的字体大小和更易读的字体系列。

我想构建一个类似的功能，因为我需要保存网站的特定页面，只保存其主要内容（条款和服务页面以及隐私政策），删除侧边栏、标题等.

我打算用 PHP 构建这个东西，使用 Symfony 的爬虫组件，但我不知道如何评估每个标签以找到处理网页的主要内容。

有什么想法吗？

我想到的就是计算p 标签的数量并计算它们的平均长度，因此，标签中p 的数量越高，它们的平均长度越高可以给我一些排序指导...

Answer 1

搜索引擎结果推动了网站的内容趋势。搜索引擎试图提取有意义的内容以显示相关的搜索结果。随着搜索引擎的发展，Web 开发人员致力于提供排名越来越高的内容。这为优质网站带来了良好的数据结构。

大多数提取有意义内容的工具都会对标记进行语义分析。感兴趣的搜索词是semantic markup 和rich snippets。