【问题标题】:Is it possible to use one AWS Glue job to write data into different databases?是否可以使用一项 AWS Glue 作业将数据写入不同的数据库?
【发布时间】:2020-06-15 06:51:16
【问题描述】:

我打算使用 AWS Glue 来完成一项简单的工作,即从 AWS s3 存储桶中提取数据并将其加载到 RDS 数据库中。计划是使用 AWS 向导创建一个 Python 脚本,并且进行最少的修改。

问题是我需要将几乎相同的数据加载到许多分离的数据库中,这些数据库具有相同的架构、相同的表等。

问题是是否可以使用一个胶水脚本来完成(例如,在向导的“必需连接”中使用多个连接),或者我是否需要为每个数据库分别进行胶水作业?

【问题讨论】:

  • 这里aws.amazon.com/blogs/big-data/… 描述了如何使用一个胶水作业从一个数据库读取并写入另一个数据库,但它并没有真正回答我的问题。因此,如果有人设法通过一项胶水作业写入单独的数据库,请告诉我。

标签: aws-glue


【解决方案1】:

看起来只有在某些条件下才有可能(我在这里找到它https://forums.aws.amazon.com/thread.jspa?threadID=287775):“当您使用 JDBC 连接作为数据源时,会在 Connection 中定义的子网中启动 ENI。胶水资源将此 ENI 用于数据源的所有流量。当您向作业添加多个连接时,它将始终在使用添加到作业的第一个连接指定的子网中启动 ENI。”当我尝试使用具有不同子网的 2 个不同连接时,只有一个可以工作,而另一个因“连接尝试超时”错误而失败 - 如提供的链接中所述。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-02-07
    • 2019-02-18
    • 1970-01-01
    • 2021-05-01
    相关资源
    最近更新 更多