【发布时间】:2014-03-27 05:22:27
【问题描述】:
我有两台机器。一台机器以伪分布式模式运行 HBase 0.92.2,而另一台使用 Nutch 2.x 爬虫。如何配置这两台机器,让一台使用 HBase-0.92.2 的机器作为后端存储,另一台使用 Nutch-2.x 的机器作为爬虫?
【问题讨论】:
标签: hadoop hbase apache-zookeeper nutch nutch2
我有两台机器。一台机器以伪分布式模式运行 HBase 0.92.2,而另一台使用 Nutch 2.x 爬虫。如何配置这两台机器,让一台使用 HBase-0.92.2 的机器作为后端存储,另一台使用 Nutch-2.x 的机器作为爬虫?
【问题讨论】:
标签: hadoop hbase apache-zookeeper nutch nutch2
我终于做到了。我很容易做到。 我在这里分享我的经验。也许它可以帮助某人。
1-修改hbase-site.xml的配置文件为伪分布式模式。
2- 最重要的事情:在 hbase 机器上,将 /etc/hosts 中的 localhost ip 替换为您的真实网络 ip,如下所示
10.11.22.189 主本地主机
hbase机器的ip = 10.11.22.189 (注意:如果你不改变你的hbase机器的localhost ip,远程nutch爬虫将无法连接到它)
4- 复制/符号链接 hbase-site.xml 到 $NUTCH_HOME/conf
5- 启动您的爬虫并查看它是否正常工作
【讨论】: