Crawler4j 与 mongoDB答案

【问题标题】：Crawler4j with mongoDBCrawler4j 与 mongoDB
【发布时间】：2014-06-30 18:19:53
【问题描述】：

我正在研究 crawler4j。我发现它使用 BerkeleyDB 作为数据库。我正在使用 mongoDB 开发 Grails 应用程序，并且想知道 crawler4j 在我的应用程序中工作的灵活性如何。我基本上是想将爬取的信息存储在mongodb数据库中。是否可以将 crawler4j 配置为使用 mongoDB 而不是 BerkeleyDB 作为默认数据存储？任何的意见都将会有帮助。谢谢

【问题讨论】：

仅供参考，这可能是在crawler4j 文档和问题队列中研究的更好问题。由于没有明显的数据库细节配置，目前crawler4j似乎只支持BerkeleyDB。

标签： mongodb crawler4j

【解决方案1】：

没有可配置的dao层，但你可以操作它。

有3个道类。 Counters 类保存总的“计划”和“已处理”页面计数（这仅用于统计）。 DocIDServer 类包含用于解析新 url 的 url-id 对。 Frontier 类为要抓取的页面保留队列。只保留方法逻辑和转换块。

【讨论】：