使用 AWS Glue 将数据从 S3 加载到 Aurora Serverless

Question

根据Moving data from S3 -> RDS using AWS Glue

我发现添加到数据目标的连接需要一个实例。但是，我的 RDS 是无服务器的，因此没有可用的实例。 Glue 是否支持这种情况？

Answer 1

我最近尝试用 AWS 胶水连接 Aurora MySql Serverless，但失败了。我遇到了超时错误。

Check that your connection definition references your JDBC database with 
correct URL syntax, username, and password. Communications link failure
The last packet sent successfully to the server was 0 milliseconds ago. 
The driver has not received any packets from the server.

我认为原因是 Aurora serverless 没有任何持续运行的实例，因此在连接 URL 中您无法提供任何实例，这就是 Glue 无法连接的原因。

因此，您需要确保数据库实例正在运行。只有这样您的 JDBC 连接才能正常工作。 如果您的数据库在私有 VPC 中运行，您可以点击此链接： Nat Creation

编辑： 除了 NAT GW，您还可以将 VPC 端点用于 S3。 Here 是一个非常好的博客，一步一步解释。 或AWS documentation

Answer 2

我可以使用 JDBC 建立连接， 有一件非常重要的事情是您应该至少有一个子网打开所有 TCP 端口，但您可以将端口指向子网。 通过设置，连接测试通过，爬虫也可以创建表了。