Xapian 的爬虫/解析器

Question

我想实现一个搜索引擎，它应该抓取一组网站，从页面中提取特定信息并创建该特定信息的全文索引。

在我看来，Xapian 可能是搜索引擎库的不错选择。

爬虫/解析器与 Xapian 集成的选项有哪些？

在与开源爬虫/解析器集成方面，Solr 会比 Xapian 更好吗？

Answer 1

Here's Xapian 和 Solr 的小对比。

但是如果你想构建一个爬虫，看看Nutch。它是extensible with plugins，因此您可以编写一个插件来分析您正在寻找的信息。

Answer 2

Flax 可能会提供您正在寻找的一些内容。