我们可以从一个 spark 会话连接到 Bigtable 和 Hive 吗？答案

【问题标题】：Can we connect to both Bigtable and Hive from one spark session?我们可以从一个 spark 会话连接到 Bigtable 和 Hive 吗？
【发布时间】：2019-08-28 17:27:47
【问题描述】：

我正在按照以下链接中的示例进行操作 https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/tree/master/scala/bigtable-shc 从使用 Spark 的 scala 应用程序连接到 bigtable。我们在 GCS 中有一些数据，我们使用 hive 连接到这些数据。我们需要能够连接到 hive 并获取数据并将其写入 BigTable。

我在 hbase-site.xml 文件中添加了 BigTable 的配置。我在启动 spark 会话时将配置单元属性添加到了配置中。 spark session 能否同时连接到两个不同的数据源？

【问题讨论】：

标签： scala apache-spark hive google-cloud-bigtable

【解决方案1】：

我能够连接到 hive 和 bigtable。我必须使用以下配置。

val spark = SparkSession
    .builder
    .appName(appName)
    .config("spark.sql.warehouse.dir","gs://<bucket-name>/user/hive/warehouse/")
    .enableHiveSupport()
    .getOrCreate

【讨论】：