【问题标题】:spark 1.3 read and write to hbasespark 1.3 读写hbase
【发布时间】:2017-09-02 13:25:07
【问题描述】:

我想使用 spark 1.3 和 cloudera CDH-5.4.7 从 hbase 读写。我正在使用spark-hbase-connector。 我启动我的 spark-shell:

spark-shell --jars hbase-client-1.0.3.jar scalatest_2.10-2.2.4.jar hbase-common-1.0.3.jar spark-hbase-connector_2.10-1.0.3.jar hbase-server-1.0.3.jar

当我运行这个导入时:

import it.nerdammer.spark.hbase._

我遇到了一个错误。使用 spark 1.3 从 hbase 读写的最佳方法是什么? 谢谢你

【问题讨论】:

  • 错误是什么?
  • import it.nerdammer.spark.hbase._ 甚至我添加了jar文件

标签: apache-spark hbase rdd


【解决方案1】:

你能试试下面的吗?

运行:spark-shell --jars /opt/cloudera/parcels/CDH/lib/hbase/hbase-spark.jar

代码参考以下链接

https://github.com/apache/hbase/blob/master/hbase-spark/src/main/scala/org/apache/hadoop/hbase/spark/example/hbasecontext/HBaseBulkGetExample.scala

【讨论】:

  • 我将其更改为我的版本spark-submit --master yarn-client --driver-class-path /opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hbase/lib/htrace-core-3.1.0-incubating.jar --conf spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hbase/lib/htrace-core-3.1.0-incubating.jar --class com.cloudera.spark.hbase.example.HBaseBulkPutExample spark_hbase-0.4-jar-with-dependencies.jar ,但它不起作用
  • 首先您需要使用我提供的代码构建jar,默认情况下不可用。 spark_hbase-0.4-jar-with-dependencies.jar 是我使用代码创建的jar。
  • 我正在逐行运行 spark-shell,因为我没有 sbt(网络安全问题)
  • 然后您可以使用以下命令打开 spark-shell:spark-shell --driver-class-path /opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7。 p0.3/lib/hbase/li‌​b/htrace-core-3.1.0-‌​incubating.jar --conf spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.4.‌​7-1 .cdh5.4.7.p0.3/li‌​b/hbase/lib/htrace-c‌​ore-3.1.0-incubating‌​.jar 然后您应该在类路径中有所需的 jar,您将能够访问 hbase 数据。使用我的代码作为参考。
  • 我在导入import com.cloudera.spark.hbase.HBaseContext时出错
猜你喜欢
  • 2015-01-30
  • 1970-01-01
  • 2018-07-01
  • 1970-01-01
  • 1970-01-01
  • 2015-01-23
  • 1970-01-01
  • 2014-06-18
  • 1970-01-01
相关资源
最近更新 更多