爬虫应用的数据库系统

Question

我正在开发一个基于 java 的爬虫。我希望在我的爬虫中具有恢复功能，用户可以在任何时候暂停爬虫，如果爬虫崩溃了，他应该能够从爬虫停止的位置开始上一次爬虫。

为此，我必须将所有外链（在任何页面上找到的链接）存储在数据库中。我不确定哪个数据库最适合这种系统，因为它需要非常快速地插入和检索数据库中的链接，并且插入和检索的频率会非常高。

很少有人向我推荐像 mongodb 这样的 no-sql，但我只是想确保它是此类系统的最佳选择。

Answer 1

crawler4j 是一个 java 爬虫，也支持恢复功能。所以，如果你只是想拥有一个爬虫，我建议使用它。但是如果你需要在自己的爬虫中集成这个功能，我建议使用 Berkeley DB。它是一种非常有效的基于键值的存储。您可以查看 crawler4j 的源代码，了解它如何使用 Berkeley DB 快速存储和检索需要抓取的 URL。