数据挖掘中映射数据的算法

Question

我需要抓取一些网页并从中提取内容。我打算选择一些特定的关键字并映射与它们有某种关系的数据。但我不知道，我怎么能做到这一点。任何人都可以建议我一些算法吗？。

例如，我需要下载一些关于苹果的网页，并将苹果的相关数据映射到其中并存储在数据库中，以便如果有人需要有关它的具体信息，我可以快速准确地提供。

指出有用的库也会很有帮助。我打算用python来做。

Answer 1

你可以尝试基于词频-逆文档频率 TF-IDF的算法，在Java中我推荐Solr ...实际上你可以使用Solr并使用python访问它@987654323 @

Answer 2

查看NLTK、Pattern 或Orange 模块。

Toby Segaran 的《Programming collective intelligence: building smart web 2. 0 applications》是一本值得一读的好书。