如何使用 spark 2.* 访问 hbase

Question

我编写了一个程序，它使用带有 spark-hbase-connecotr 的 spark 1.6 访问 HBase（sbt 依赖项：“it.nerdammer.bigdata”%“spark-hbase-connector_2.10”%“1.0.3”）。但是在使用 spark 2.* 时它不起作用。我已经搜索过这个问题，我得到了一些结论：

1. 有几个连接器用于使用 spark 连接 hbase

   • hbase-火花。 hbase-spark 由 HBase 官方website 提供。但我发现它是在 scala 2.10 和 spark 1.6 上开发的。项目的 pom.xml 中的属性如下：

     <properties>
       <spark.version>1.6.0</spark.version>
       <scala.version>2.10.4</scala.version>
       <scala.binary.version>2.10</scala.binary.version>
       <top.dir>${project.basedir}/..</top.dir>
       <avro.version>1.7.6</avro.version>
       <avro.mapred.classifier></avro.mapred.classifier>
     </properties>
     

   • hbase-spark-connecotr：我访问了他们的website，没有关于 spark 2.0 的信息。 jar 的名称是 spark-hbase-connector_2.10，它告诉我们 jar 是由 spark 1.* 使用的 scala 2.10 编译的。但是当我将 jar 的名称更改为 spark-hbase-connector_2.11（由 scala 2.11 编译，与 spark 2 相同）时，我的 IEDA（一种 IDE）告诉我没有名为 spark-hbase-connecotr_2.11 的 jar。所以不支持spark 2..

   • hortonworks-spark：我访问过他们的网站。有些评论说不支持 spark 2.*。

您知道第三方提供的任何带有完整文档的jar 可以解决问题吗？我应该使用什么包来使用 spark 2.* 连接 hbase？我感谢你的任何建议。谢谢！

Answer 1

我选择使用newAPIHadoopRDD在spark中访问hbase