【问题标题】:How connect GKE airflow to RDS?如何将 GKE 气流连接到 RDS?
【发布时间】:2022-01-04 09:38:44
【问题描述】:

我正在使用 GCP 作曲家(在 GKE 中运行)来运行一些气流 dag,但 rds dag 正在超时。我已经按照作曲家的文档建议完成了一些网络设置,例如 VPC、DNS 和防火墙规则,并且连接正常,我已经在一个简单的 VM 上对其进行了测试,但是 GKE 集群无法连接到 RDS

【问题讨论】:

    标签: airflow google-kubernetes-engine amazon-rds google-cloud-composer vpc


    【解决方案1】:

    您所说的 RDS 是指 AWS 服务吗?如果是这样,您的 Composer 集群需要能够连接到 Internet。我不确定您的设置如何以及您使用的是哪个版本的作曲家 1 或 2 ?但是看看这个link。也许你需要一个 Egress 防火墙规则到 RDS 监听的端口上的 0.0.0.0/0(互联网)

    【讨论】:

    • 我已经这样做了,以至于 GCE vms 可以连接到 rds,只有 kubernetes 不能
    • 我又查看了文档,默认情况下,创建的 GKE 集群似乎是私有的,并且没有出站到互联网 [1]。但是有一种方法可以使用 Cloud NAT [2] [1] cloud.google.com/composer/docs/concepts/private-ip [2]cloud.google.com/composer/docs/concepts/… 启用出站到 Internet
    • 在您回答后,我尝试使用 NAT,但它也不起作用。
    • 您是否将 Cloud NAT 网关部署到您的 Composer 集群所在的同一区域?
    • 是的,两者都在 us-east1
    【解决方案2】:

    这是一个 IP 地址问题,即使使用 VPC 创建 composer,pod 的地址也有不同的范围。为了解决这个问题,我只需要访问控制台并进入 GKE 设置,在网络部分,我记下“集群 pod 地址范围(默认)”和“服务地址范围”中的 IP 地址并发布这些AWS 中的 IP

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2022-08-16
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-04-10
      • 1970-01-01
      • 2022-07-28
      相关资源
      最近更新 更多