【发布时间】:2023-01-24 09:50:09
【问题描述】:
我正在创建一个具有谷歌云 SQL 摄取的 python apache-beam 管道,所以当我部署管道时,会自动创建一个新的虚拟机,它无法访问我的谷歌云 SQL 实例,所以我的工作每次都失败了。
所以我正在寻找一个带有 python 的 apache-beam 管道选项,如果我可以将任何参数名称作为工作(VM)名称或现有 VM 的公共 IP 传递,以便该作业将自动运行在可以访问我的现有 VM 上谷歌云 SQL 虚拟机
到目前为止,我已经检查了这个https://cloud.google.com/dataflow/docs/reference/pipeline-options,它没有任何工人姓名参数
请帮帮我
谢谢
【问题讨论】:
-
请您分享错误和堆栈跟踪以及代码 sn-p 吗?
-
你应该使用a service account来做这种事情。这样更安全。
标签: python google-cloud-platform google-cloud-dataflow apache-beam apache-beam-io