爬取文件系统和索引的最佳方式答案

【问题标题】：Best way to crawl through file system and index爬取文件系统和索引的最佳方式
【发布时间】：2017-12-01 09:40:03
【问题描述】：

我正在做一个项目，我需要爬取超过 10TB 的数据并将其编入索引。我需要实现花费更少时间的增量抓取。

我的问题是：哪个是适合所有大型组织与 java 一起使用的最佳工具？

我正在使用 Solr 和 Manifold CF 进行尝试，但 Manifold 在 Internet 上的文档很少。

【问题讨论】：

标签： java solr manifoldcf

【解决方案1】：

对于使用 Java 的任何抓取活动，最好使用开源 JSOUP 和 SolrJ API，清晰整洁的易understable文档。

Jsoup 是一个用于处理真实 HTML 的 Java 库。它提供了一个非常方便的 API，用于提取和操作数据，使用 DOM、CSS 和类似 jquery 的最佳方法。

SolrJ 是一种 API，可让 Java 应用程序轻松地与 Solr 对话。 SolrJ 隐藏了许多连接到 Solr 的细节，并允许您的应用程序通过简单的高级方法与 Solr 进行交互。

对于更多选项，您还可以尝试 Elasticsearch 与 java API

【讨论】：

我不会解析 HTML。我需要通过 Windows 或 linux 上的基于 NTFS 的文件系统进行爬网。我有一个可行的解决方案，但我觉得我需要遵循行业标准，并且还需要使用集群实现有效的增量抓取，因为我需要抓取大量数据。为此，Manifold CF 应运而生，但它似乎不够高效。
这个答案甚至与我所问的相差甚远。

【解决方案2】：

我们最终使用了 Solr J (JAVA) 和 Apache Manifold CF。尽管 Manifold CF 的文档几乎没有，但我们订阅了时事通讯并向开发人员提出问题，他们迅速做出了回应。但是，我不建议任何人使用此设置，因为 Apache Manifold CF 已经过时且构建不佳。所以更好地寻找替代品。希望这对某人有所帮助。

【讨论】：