【问题标题】:AWS Glue: attaching a VPC to access S3 using VPC endpointAWS Glue:附加 VPC 以使用 VPC 端点访问 S3
【发布时间】:2020-05-21 15:27:41
【问题描述】:

AWS Glue 是无服务器的,但是当 Glue ETL 作业使用数据库连接(RDS、JDBC 或 RedShift)时,有一种方法可以将 VPC 和子网分配给该作业。这部分很好。

我们面临的问题是当 Glue 作业仅在 S3 存储桶上运行并且不使用任何其他数据库时。 如何确保 Glue 通过 VPC 端点访问这些 S3 存储桶? 即使我们为 VPC 定义了一个 VPC 端点,如何确保 ETL 作业在同一个 VPC 中运行? 当 Glue 作业在 S3 源和 S3 目标上工作时,它不会询问 VPC 详细信息。

谁能帮忙解决这个问题?

【问题讨论】:

    标签: amazon-web-services aws-glue


    【解决方案1】:

    当源和目标是 s3 时,可以确保流量不会离开 VPC。请参考this 配置 s3 VPC 端点并将其添加到您的 Glue 作业中。

    如果您在访问 s3 时发现任何问题,请参阅 this

    【讨论】:

      猜你喜欢
      • 2018-02-07
      • 1970-01-01
      • 2020-03-03
      • 1970-01-01
      • 2019-08-12
      • 2020-02-07
      • 2023-02-07
      • 2017-02-08
      • 2021-02-16
      相关资源
      最近更新 更多