【问题标题】:Google Dataproc cluster created via HTTP but not listed in SDK or viewer通过 HTTP 创建但未在 SDK 或查看器中列出的 Google Dataproc 集群
【发布时间】:2017-12-08 21:41:51
【问题描述】:

我目前正在使用 Google Cloud Platform 在云中运行 Spark 作业。为此,我计划使用 Google Cloud Dataproc。

这是我正在自动化的工作流程:

  • 在 Google Cloud Storage 上上传一个 csv 文件,该文件将作为我的 Spark 作业的输入
  • 上传时,触发一个 Google Cloud Functions,它应该通过 Dataproc 可用的 HTTP API 创建集群、提交作业并关闭集群

我可以使用google apis nodejs client (http://google.github.io/google-api-nodejs-client/latest/dataproc.html) 从我的 Google Cloud Function 创建集群。但问题是我无法在 Dataproc 集群查看器上看到这个集群,甚至无法使用 Gcloud sdk:gcloud dataproc clusters list

但是,我可以在 Google Api explorer 上看到我新创建的集群:https://developers.google.com/apis-explorer/#p/dataproc/v1/dataproc.projects.regions.clusters.list

请注意,我正在当前项目中创建集群。

使用 gcloud sdk 列出时看不到该集群,我可能做错什么?

提前感谢您的帮助。

问候。

【问题讨论】:

    标签: google-cloud-platform google-cloud-storage google-cloud-dataproc


    【解决方案1】:

    我敢打赌这与“地区”字段有关。开箱即用的 Cloud SDK 默认为“全球”区域 [1]。尝试使用带有 --region 标志的 dataproc Cloud SDK 命令(例如,gcloud dataproc clusters list --region

    [1]https://cloud.google.com/dataproc/docs/concepts/regional-endpoints

    【讨论】:

    • 你完全正确!由于我无法在查看器上选择其他区域,所以我看不到它...
    • 仅供参考,Regional Endpoints 上周刚刚在 GA 结束,本周我们将完成 UI 组件的分阶段推出,因此很快您应该会开始看到一个下拉菜单,其中列出了所有控制台 UI 中的区域端点
    猜你喜欢
    • 2019-12-17
    • 2016-07-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-11-11
    • 1970-01-01
    相关资源
    最近更新 更多