【问题标题】:how to export data from hortonworks hive to cassandra?如何将数据从 hortonworks hive 导出到 cassandra?
【发布时间】:2016-07-10 20:14:49
【问题描述】:

我想将数据从 hortonworks hive 导出到 Cassandra 有没有办法在不使用 ETL 工具的情况下将数据从 Horton works Hive 导出到 datastax Cassandra?

【问题讨论】:

  • 使用 spark-submit 命令 => spark-submit --class --master local --deploy-mode client --conf spark.driver.extraClassPath=/absolute-path/ --jars /absolute-path/ /absolute-path/

标签: hadoop cassandra hive cassandra-2.0 datastax


【解决方案1】:

您为此使用 Sqoop。

Apache Sqoop

Apache Sqoop(TM) 是一种为高效传输批量而设计的工具 Apache Hadoop 和结构化数据存储之间的数据,例如 关系数据库。

Sqoop 于 2012 年 3 月成功从孵化器毕业,并 现在是一个顶级 Apache 项目。

interwebs link

【讨论】:

    【解决方案2】:

    将 Apache Spark 与 Spark-Cassandra 连接器和 saveToCassandra 结合使用是另一种选择,我看到这些天比 Sqoop 更推荐。您可以将 Spark 用作基本的加载工具,也可以使用它对您的数据执行 ETL 转换。

    【讨论】:

      猜你喜欢
      • 2014-05-30
      • 1970-01-01
      • 2018-03-30
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-09-01
      • 2014-09-13
      • 2013-09-23
      相关资源
      最近更新 更多