【问题标题】:Copying Spark Dataframe to Google Cloud Bigtable using Java/Scala使用 Java/Scala 将 Spark Dataframe 复制到 Google Cloud Bigtable
【发布时间】:2018-09-26 14:17:36
【问题描述】:

我正在使用 Spark 进行大数据操作,我想将我的 Spark 数据框复制到 Google Cloud Bigtable。

是否有任何示例/库/API 可以帮助我实现这一目标?在 Java 或 Scala 中?

Java 或 Scala 示例会很有帮助。

【问题讨论】:

    标签: scala apache-spark apache-spark-sql spark-dataframe google-cloud-bigtable


    【解决方案1】:

    Google Cloud Bigtable 支持 Apache HBase 1.0+ API,因此您可以使用 Apache Spark HBase 连接器。这里有几个例子:

    https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/tree/master/scala

    请注意,这些示例是使用 Google Cloud Dataproc(Google Cloud 的托管/托管 Hadoop + Spark 服务)编写的,但它们应该适用于独立的 Spark 设置。

    【讨论】:

    • 感谢您的链接。我现在有例子。我在独立模式下运行 Spark,我想使用我的凭据 JSON 文件建立连接。我正在搜索使用 JSON 凭据连接到 Big Table 的文档,但我找不到任何文档。你知道任何可以帮助我解决这个问题的链接吗?
    • 我使用了您的文档链接并遇到了一些问题。我也在 Github 上创建了这个问题。这是链接——github.com/GoogleCloudPlatform/cloud-bigtable-examples/issues/…
    猜你喜欢
    • 1970-01-01
    • 2018-04-30
    • 2016-05-28
    • 2016-09-12
    • 2019-08-20
    • 1970-01-01
    • 1970-01-01
    • 2016-02-27
    • 2019-10-22
    相关资源
    最近更新 更多