如何在 spark 中配置 hbase？

Question

spark连接hbase的步骤是什么？

我有两者的主地址。我只是将 hbase 地址添加到 spark 类路径中吗？

Answer 1

这篇关于连接 Spark 和 HBase 的帖子应该会有所帮助：http://www.vidyasource.com/blog/Programming/Scala/Java/Data/Hadoop/Analytics/2014/01/25/lighting-a-spark-with-hbase

我只是将 hbase 地址添加到 spark 类路径中吗？

没有。实际上，您应该将 hbase 配置文件放在 spark 类路径中。如果没有，你应该在你的代码中设置它们，例如：

    Configuration hConf = HBaseConfiguration.create(conf);
    hConf.set("hbase.zookeeper.quorum", "PDHadoop1.corp.CompanyName.com,PDHadoop2.corp.CompanyName.com");
    hConf.setInt("hbase.zookeeper.property.clientPort", 10000);