【发布时间】:2017-12-08 21:41:51
【问题描述】:
我目前正在使用 Google Cloud Platform 在云中运行 Spark 作业。为此,我计划使用 Google Cloud Dataproc。
这是我正在自动化的工作流程:
- 在 Google Cloud Storage 上上传一个 csv 文件,该文件将作为我的 Spark 作业的输入
- 上传时,触发一个 Google Cloud Functions,它应该通过 Dataproc 可用的 HTTP API 创建集群、提交作业并关闭集群
我可以使用google apis nodejs client (http://google.github.io/google-api-nodejs-client/latest/dataproc.html) 从我的 Google Cloud Function 创建集群。但问题是我无法在 Dataproc 集群查看器上看到这个集群,甚至无法使用 Gcloud sdk:gcloud dataproc clusters list。
但是,我可以在 Google Api explorer 上看到我新创建的集群:https://developers.google.com/apis-explorer/#p/dataproc/v1/dataproc.projects.regions.clusters.list。
请注意,我正在当前项目中创建集群。
使用 gcloud sdk 列出时看不到该集群,我可能做错什么?
提前感谢您的帮助。
问候。
【问题讨论】:
标签: google-cloud-platform google-cloud-storage google-cloud-dataproc