在 hadoop 上探索 nutch

Question

我可以用 Hadoop 和 Nutch 作为搜索引擎做什么？我知道nutch是用来构建网络爬虫的。但我没有找到完美的图片。我可以使用带有 nutch 的 mapreduce 并做一些 mapreduce 工作吗？欢迎任何想法。很少有链接将不胜感激。谢谢。

Answer 1

如果您只想执行 Map/Reduce 作业，则不需要 Nutch，只需要 Hadoop。 Hadoop 为您提供了一个集群文件系统和一个用于文件系统上的 map/reduce 作业的调度程序。

由于 Nutch 建立在 Hadoop 之上，只要您了解数据结构和爬虫在做什么，您就可以在 Nutch 数据上创建自己的 map/reduce 作业。

但是，如果您只想运行一些 map/reduce 作业，只需安装 hadoop 即可。