通过 AWS Glue Python 脚本连接到 Postgres

Question

通过 AWS Glue 文档，我看不到任何关于如何通过“Python shell”类型的 Glue 作业连接到 Postgres RDS 的内容。我已经在 AWS Glue 中设置了 RDS 连接并验证我可以连接到我的 RDS。此外，在创建 Python 作业时，我可以看到我的连接并将其添加到脚本中。

如何使用我添加到 Glue 作业的连接来运行一些原始 SQL？

提前致谢，

Answer 1

在glue etl (spark)中有两种可能的方式从RDS访问数据：

第一个选项：

• 在 RDS 之上创建粘合连接
• 在第一步创建的粘合连接之上创建粘合爬虫
• 运行爬虫以使用指向 RDS 表的数据库和表填充粘合目录。
• 使用胶水目录中新创建的数据库和表在胶水 etl 中创建动态框架。

代码示例：

from pyspark.context import SparkContext
from awsglue.context import GlueContext
glueContext = GlueContext(SparkContext.getOrCreate())
DyF = glueContext.create_dynamic_frame.from_catalog(database="{{database}}", table_name="{{table_name}}")

第二个选项

使用 spark sql 创建数据框：

url = "jdbc:postgresql://<rds_host_name>/<database_name>"
properties = {
"user" : "<username>",
"password" : "<password>"
}
df = spark.read.jdbc(url=url, table="<schema.table>", properties=properties)

注意：

• 您需要传递 postgres jdbc jar 以使用 spark sql 创建数据库。
• 我已经在glue etl 上尝试了第一种方法，在python shell (dev-endpoint) 上尝试了第二种方法