无法从 Private Google Cloud Composer 访问 AWS s3 存储桶

Question

我正在使用 GCP 云作曲家 ( Airflow ) 将 s3 文件与 GCS 存储桶同步。当我设置公共作曲家（公共集群）时，我可以运行命令“gsutil ls s3://bucket_name”并列出其中的文件但是当我设置私有集群时，我我正在获得相同的连接超时。 我可以列出谷歌存储桶内容，但无法连接 s3 存储桶……有人可以在这里提供帮助

Answer 1

如果 GCP composer 创建了私有 GKE 集群，则该集群在设计上与外部互联网隔离。

您应该无法按原样从集群内部访问 GCP 外部的资源，例如 S3。有一些选项可以启用外部连接，例如 NAT 网关。

Answer 2

私有集群没有与集群外部资源的连接，您需要做的是创建一个 NAT 网关并将其绑定到您的集群，这将允许您访问其他云中的资源，例如 AWS 中的 S3 ，或允许将您的集群列入其他面向公众的服务的白名单。