Google Cloud dataproc 无法使用 --scopes=cloud-platform 从 cloudsql 访问配置单元元存储答案

【问题标题】：Google Cloud dataproc not able to access hive metastore from cloudsql with --scopes=cloud-platformGoogle Cloud dataproc 无法使用 --scopes=cloud-platform 从 cloudsql 访问配置单元元存储
【发布时间】：2019-11-17 01:33:46
【问题描述】：

我创建了 2 个数据 proc 集群。要求是使用 1 个配置单元元存储，并且两个集群都可以访问。第一个是 ETL 集群，它有 --scopes=sql-admin 和第二个用于 ML 用户的 --scopes=cloud-platform 。使用 ETL 集群创建的数据库和表不被 ML 集群访问。如果我必须在每个集群中添加 --scopes=sql-admin，任何人都可以提供帮助。

ETL 集群创建命令：

 gcloud dataproc clusters create amlgcbuatbi-report \
>     --project=${PROJECT} \
>     --master-machine-type n1-standard-1 --worker-machine-type n1-standard-1 --master-boot-disk-size 50 --worker-boot-disk-size 50 \
>     --zone=${ZONE} \
>     --num-workers=${WORKERS} \
>     --scopes=sql-admin \
>     --image-version=1.3 \
>     --initialization-actions=gs://dataproc-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh \
>     --properties=hive:hive.metastore.warehouse.dir=gs://gftat/data \
>     --metadata="hive-metastore-instance=$PROJECT:$REGION:metaore-dev001"

输出：

0: jdbc:hive2://localhost:10000/default> show databases;
+------------------+
|  database_name   |
+------------------+
| default          |
| gcb_dw           |
| l1_gcb_trxn_raw  |
+------------------+

ML 集群创建命令：

gcloud dataproc clusters create amlgcbuatbi-ml \
    >     --project=${PROJECT} \
    >     --master-machine-type n1-standard-1 --worker-machine-type n1-standard-1 --master-boot-disk-size 50 --worker-boot-disk-size 50 \
    >     --zone=${ZONE} \
    >     --num-workers=${WORKERS} \
    >     --scopes=cloud-platform \
    >     --image-version=1.3 \
    >     --optional-components=PRESTO \
    >     --initialization-actions=gs://dataproc-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh \
    >     --initialization-actions=gs://dataproc-initialization-actions/presto/presto.sh \
    >     --metadata="hive-metastore-instance=$PROJECT:$REGION:metaore-dev001"

输出：在这里我看不到数据库和表格。

0: jdbc:hive2://localhost:10000/default> show databases;
+----------------+
| database_name  |
+----------------+
| default        |
+----------------+

【问题讨论】：

你确定是--scopes=cloud-platform引起的吗？

标签： google-cloud-platform gcloud google-cloud-dataproc

【解决方案1】：

--initialization-actions 标志需要一个逗号分隔的列表，而不是重复该标志以将多个初始化操作附加到列表中。试试

--initialization-actions=gs://dataproc-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh,gs://dataproc-initialization-actions/presto/presto.sh

而不是两个单独的--initialization-actions 标志。

【讨论】：