【发布时间】:2018-09-26 14:17:36
【问题描述】:
我正在使用 Spark 进行大数据操作,我想将我的 Spark 数据框复制到 Google Cloud Bigtable。
是否有任何示例/库/API 可以帮助我实现这一目标?在 Java 或 Scala 中?
Java 或 Scala 示例会很有帮助。
【问题讨论】:
标签: scala apache-spark apache-spark-sql spark-dataframe google-cloud-bigtable
我正在使用 Spark 进行大数据操作,我想将我的 Spark 数据框复制到 Google Cloud Bigtable。
是否有任何示例/库/API 可以帮助我实现这一目标?在 Java 或 Scala 中?
Java 或 Scala 示例会很有帮助。
【问题讨论】:
标签: scala apache-spark apache-spark-sql spark-dataframe google-cloud-bigtable
Google Cloud Bigtable 支持 Apache HBase 1.0+ API,因此您可以使用 Apache Spark HBase 连接器。这里有几个例子:
https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/tree/master/scala
请注意,这些示例是使用 Google Cloud Dataproc(Google Cloud 的托管/托管 Hadoop + Spark 服务)编写的,但它们应该适用于独立的 Spark 设置。
【讨论】: