识别网站文章中的主要文本[关闭]答案

【问题标题】：Identify main text in website article [closed]识别网站文章中的主要文本[关闭]
【发布时间】：2014-09-19 12:28:37
【问题描述】：

我想知道是否有一些工具可以为博客/网页提供 URL，它可以识别并提取正文。因为一篇文章页面，比如一篇博客文章，可能有不同的文本部分，其中一个部分就是文章本身。有办法识别和提取吗？

谢谢。

【问题讨论】：

欢迎来到网络抓取的世界。简短的回答：不，没有标准的方法可以做到这一点。您可以做出一些很好的猜测，但任何准确度测量都需要对特定页面的标记进行逆向工程，以提取您想要的特定内容，并希望页面结构在以后的请求中不会改变。

【解决方案1】：

这个问题分三个步骤：

1 很容易用 Python urllib2.urlopen 完成。

如果您知道网站的结构（主要的 HTML 标记等），可以使用 BeautifulSoup 等工具轻松完成。以通用方式删除广告是一个更大的主题 - 您可以在网上找到一些关于该主题的研究。

通过提取句子创建摘要是众所周知的领域。我认为 NLTK 有一些模块可以做到这一点。你甚至可以看看我不久前写的a simple (and effective) approach。

【讨论】：

是的，我们可以在一个众所周知的网站中做到这一点，我们知道 HTML 结构。我要求一个适用于每个网站的通用解决方案（至少在与媒体行业相关的网站中，如博客、报纸等）。顺便说一句，我不明白反对票。这个问题有那么可笑吗？
不确定否决票，也许已经回答了类似的问题？
也许有一种方法可以“锁定”这篇文章，因为已经回答了一个类似的问题？谢谢你的澄清。

【解决方案2】：

您可以使用 AJAX 调用来获取内容，但您必须在同一个域中。你不能复制别人的内容。

或者，使用 PHP 抓取它

$content = file_get_contents('{filename}');

然后使用 html 标签（例如 '

'）来分割它。

你用它做什么？因为如果它是您的内容，我会使用 ajax 并始终将您想要抓取的内容放在分配了特定类的标签中。如果是其他人的内容，那么您可能需要先征得他们的许可。

【讨论】：