【问题标题】:hbase-spark for Spark 2用于 Spark 2 的 hbase-spark
【发布时间】:2018-10-14 18:07:15
【问题描述】:

我想使用 ScalaSpark 2hbase 进行全面扫描。

我没有固定的目录定义,因此SHC 之类的库不是一个选项。

我的逻辑选择是使用 hbase-spark,它在 Spark 1.6 中运行良好

除了以前版本中关于这个库的糟糕文档之外,我惊讶的是在检查最后一个 HBase 版本时,例如 tag 2.0hbase-spark 不见了! 但仍然在主人。

所以我的问题是:

  • 最新版本的 hbase-spark 模块在哪里?
  • 在哪里可以找到与 Spark 2 兼容的 hbase-spark 版本?

谢谢!

【问题讨论】:

    标签: scala apache-spark hbase


    【解决方案1】:

    似乎hbase-spark 模块已从 v2.0 版本的 hbase 项目中删除

    https://issues.apache.org/jira/browse/HBASE-18817

    【讨论】:

      【解决方案2】:

      @bp2010 已经回答了部分问题。

      关于 HBase Spark 见下文。它适用于火花 2。

      有些选项不需要客户端代码的固定目录:

      1. HBase Spark 带有示例的源代码在这里:https://github.com/apache/hbase-connectors/tree/master/spark/hbase-spark 在这里您可以看到有关存储库的说明: https://github.com/apache/hbase-connectors/tree/master/spark/hbase-spark

      2. Apache Phoenix Spark 连接器 https://phoenix.apache.org/phoenix_spark.html

      我不确定它是否对您有帮助,因为该表必须映射到 Phoenix 表。如果您有 Phoenix,并且您的问题是从代码编写目录,但是您可以标准化 HBase 表中的类型,对于完整扫描,这可能是要走的路。否则,请使用选项 1。

      【讨论】:

      • 感谢您更新回复。当我问的时候,第一点东西不可用。很好的收获。
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2017-12-20
      • 1970-01-01
      • 2016-12-20
      • 1970-01-01
      • 1970-01-01
      • 2016-12-24
      • 2017-09-02
      相关资源
      最近更新 更多