Crawler4j 与 Jsoup 用于在 Java 中抓取和解析页面

Question

我想获取页面的内容并提取它的特定部分。据我所知，此类任务至少有两种解决方案：Crawler4j 和Jsoup。

它们都能够检索页面的内容并提取其中的子部分。我唯一不确定的是，它们之间有什么区别？有一个similar question，标记为已回答：

Crawler4j 是爬虫，Jsoup 是解析器。

但我刚刚查了一下，Jsoup 除了解析功能外，还可以抓取页面，而 Crawler4j 不仅可以抓取页面，还可以解析其内容。

因此，请您澄清一下 Crawler4j 和 Jsoup 之间的区别吗？

Answer 1

抓取不仅仅是检索单个 URI 的内容。如果您只想检索某些页面的内容，那么使用Crawler4J 之类的内容并没有真正的好处。

让我们看一个例子。假设您要抓取一个网站。要求是：

1. 提供基本 URI（主页）
2. 获取每个页面的所有 URI 并检索其中的内容。
3. 为您检索的每个 URI 递归移动。
4. 仅检索本网站内部 URI 的内容（可能存在引用另一个网站的外部 URI，我们不需要这些）。
5. 避免循环爬行。页面 A 具有页面 B（同一站点的）的 URI。页面 B 有页面 A 的 URI，但我们已经检索到页面 A 的内容（About 页面有一个指向Home 页面的链接，但我们已经获得了Home 页面的内容，所以不要访问它再次）。
6. 抓取操作必须是多线程的
7. 网站很大。它包含很多页面。我们只想检索从Home 页面开始的 50 个 URI。

这是一个简单的场景。尝试使用Jsoup 解决此问题。所有这些功能都必须由您实现。 Crawler4J 或任何与此相关的爬虫微框架将或应该具有上述操作的实现。当您决定如何处理内容时，Jsoup 的强大品质就会闪耀。

我们来看看解析的一些要求。

1. 获取页面的所有段落
2. 获取所有图片
3. 删除无效标签（不符合HTML 规范的标签）
4. 删除脚本标签

这就是Jsoup 发挥作用的地方。当然，这里有一些重叠。 Crawler4J 或 Jsoup 可能会发生一些事情，但这并不意味着它们是等效的。您可以删除从Jsoup 检索内容的机制，并且仍然是一个令人惊叹的工具。如果Crawler4J 将删除检索，那么它将失去一半的功能。

我在现实生活场景中的同一个项目中使用了它们。 对于第一个示例中提到的所有问题，我利用Crawler4J 的优势爬取了一个站点。然后我将检索到的每个页面的内容传递给Jsoup，以便提取我需要的信息。我可以不使用其中一个吗？是的，我可以，但我必须实现所有缺失的功能。

因此不同，Crawler4J 是一个爬虫，具有一些简单的解析操作（您可以在一行中提取图像），但没有实现复杂的CSS 查询。 Jsoup 是一个解析器，它为您提供HTTP 请求的简单 API。对于更复杂的东西，没有实现。