【问题标题】:Error: while writing pyspark dataframe into Habse错误:将 pyspark 数据帧写入 Hbase 时
【发布时间】:2020-07-10 08:40:48
【问题描述】:

我正在尝试将 pyspark 数据帧写入 Hbase。面临以下错误。

我的集群上的 Spark 和 Hbase 版本是:

Spark 版本:2.4.0 Hbase版本:1.4.8

火花提交

 spark-submit --jars /tmp/hbase-spark-1.0.0.jar   --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11 --repositories http://repo.hortonworks.com/content/groups/public/ --files /etc/hbase/conf/hbase-site.xml to_hbase.py

错误:

任何帮助将不胜感激!

【问题讨论】:

    标签: apache-spark pyspark hbase pyspark-sql


    【解决方案1】:

    这是一个已知问题 - 在 spark2.4 中使用 spark-habse-connector (shc)。
    @dhananjay_patka 做了一个修复。

    检查:SHC With spark 2.4 his fix

    【讨论】:

      猜你喜欢
      • 2020-10-06
      • 2018-06-24
      • 1970-01-01
      • 2020-11-26
      • 2017-08-12
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多