【问题标题】:Run Apache-beam pipeline job on existing google cloud VM在现有的谷歌云 VM 上运行 Apache-beam 管道作业
【发布时间】:2023-01-24 09:50:09
【问题描述】:

我正在创建一个具有谷歌云 SQL 摄取的 python apache-beam 管道,所以当我部署管道时,会自动创建一个新的虚拟机,它无法访问我的谷歌云 SQL 实例,所以我的工作每次都失败了。

所以我正在寻找一个带有 python 的 apache-beam 管道选项,如果我可以将任何参数名称作为工作(VM)名称或现有 VM 的公共 IP 传递,以便该作业将自动运行在可以访问我的现有 VM 上谷歌云 SQL 虚拟机

到目前为止,我已经检查了这个https://cloud.google.com/dataflow/docs/reference/pipeline-options,它没有任何工人姓名参数

请帮帮我

谢谢

【问题讨论】:

  • 请您分享错误和堆栈跟踪以及代码 sn-p 吗?
  • 你应该使用a service account来做这种事情。这样更安全。

标签: python google-cloud-platform google-cloud-dataflow apache-beam apache-beam-io


【解决方案1】:

Dataflow 工作人员可能无权访问您的 Google Cloud SQL 实例。请查看Dataflow security and permissions,了解如何为数据流虚拟机设置正确的访问权限。具体来说,您需要确保 Worker service account 有权访问 Cloud SQL 实例。

【讨论】:

    猜你喜欢
    • 2022-06-18
    • 1970-01-01
    • 1970-01-01
    • 2020-06-10
    • 1970-01-01
    • 1970-01-01
    • 2015-05-16
    • 1970-01-01
    • 2021-03-15
    相关资源
    最近更新 更多