【问题标题】:How can I connect apache Nutch 2.x to a remote HBase cluster?如何将 apache Nutch 2.x 连接到远程 HBase 集群?
【发布时间】:2014-03-27 05:22:27
【问题描述】:

我有两台机器。一台机器以伪分布式模式运行 HBase 0.92.2,而另一台使用 Nutch 2.x 爬虫。如何配置这两台机器,让一台使用 HBase-0.92.2 的机器作为后端存储,另一台使用 Nutch-2.x 的机器作为爬虫?

【问题讨论】:

    标签: hadoop hbase apache-zookeeper nutch nutch2


    【解决方案1】:

    我终于做到了。我很容易做到。 我在这里分享我的经验。也许它可以帮助某人。

    1-修改hbase-site.xml的配置文件为伪分布式模式。

    2- 最重要的事情:在 hbase 机器上,将 /etc/hosts 中的 localhost ip 替换为您的真实网络 ip,如下所示

    10.11.22.189 主本地主机

    hbase机器的ip = 10.11.22.189 (注意:如果你不改变你的hbase机器的localhost ip,远程nutch爬虫将无法连接到它)

    4- 复制/符号链接 hbase-site.xml 到 $NUTCH_HOME/conf

    5- 启动您的爬虫并查看它是否正常工作

    【讨论】:

      猜你喜欢
      • 2012-06-10
      • 1970-01-01
      • 2016-07-14
      • 1970-01-01
      • 2016-07-05
      • 2015-09-02
      • 2018-07-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多