AWS Glue 的工作原理是什么？

Question

我阅读了多篇关于 AWS Glue 的 ETL 帖子。但我得到的不多。 有人可以用简单的话解释一下 AWS Glue 的工作原理吗？它创建了 ENI，但它有什么用？我在某处读到 AWS Glue 作业在 AWS Glue 私有子网中运行，这是真的吗？你能用架构图解释一下吗？还有为什么我们在创建Glue连接时需要提供VPC？

Answer 1

为了使概念尽可能简单，请将 AWS Glue 视为 Spark，您可以在其中编写 Python/Scala 脚本来执行特定的数据处理任务，作为可以执行的作业，例如，使用 GlueContext 的 Python 脚本从 S3 存储桶中读取 CSV 文件并将其存储为 JSON。

关于网络和 VPC，您可以在 VPC 和 AWS Glue 之间建立私有连接。您可以使用此连接使 AWS Glue 无需通过公共互联网即可与您的 VPC 中的资源进行通信。使用 VPC，您可以控制网络设置，例如 IP 地址范围、子网、路由表和网络网关。

AWS Glue VPC Reference

AWS Glue 概念：

AWS Reference