从在 Dataproc 集群上运行的 Rstudio 连接到 BigQuery答案

【问题标题】：Connecting to BigQuery from Rstudio running on a Dataproc cluster从在 Dataproc 集群上运行的 Rstudio 连接到 BigQuery
【发布时间】：2021-03-10 11:50:57
【问题描述】：

我使用以下说明创建了一个 Dataproc 集群并成功启动了 RStudio Server： https://cloud.google.com/solutions/running-rstudio-server-on-a-cloud-dataproc-cluster

我还安装了 sparklyr 并成功创建了 Spark 实例。

sc <- spark_connect(master = "local")

但是，我想知道如何连接到 BigQuery。有一个 sparkbq 库，但我不确定如何传递此处描述的 bigquery jar 连接器（在运行时）： https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example

【问题讨论】：

请注意，您并没有以这种方式使用完整的 dataproc 集群 - 只有一个节点处于活动状态。最好把master改成“yarn”

标签： r google-bigquery google-cloud-dataproc sparklyr rstudio-server

【解决方案1】：

您可以使用 Dataproc 初始化操作在集群的所有节点上安装 spark-bigquery 连接器。 https://github.com/GoogleCloudDataproc/initialization-actions/tree/master/connectors.

您可能必须使用更新的初始化操作重新创建集群并再次启动 RStudio Server。如果您不希望这样做并且您的集群很小，您也可以通过 ssh 进入节点并手动下载 SparkBigQuery-connector jar。

【讨论】：