【问题标题】:How to create Glue connection to a rds instance running in different region VPC?如何创建与在不同区域 VPC 中运行的 rds 实例的 Glue 连接?
【发布时间】:2018-10-20 08:09:32
【问题描述】:

我们要抓取的数据库位于 us-west-1 区域,该区域尚不提供粘合服务。所以我在 us-west-2 中使用了胶水,现在我想在 us-west-1 区域创建与数据库的连接。

在创建连接时,它会询问数据存储所在的 VPC,并列出该区域的所有可用 VPC。但我的数据库位于不同区域的 VPC 中,因此它不在下拉列表中可供选择。知道如何解决这个问题吗?

VPC 选择包含的虚拟私有云 (VPC) 的名称 您的数据存储。 AWS Glue 控制台列出了当前的所有 VPC 地区。

【问题讨论】:

  • Aashish,你想清楚了吗?谢谢。

标签: amazon-web-services aws-sdk amazon-vpc aws-glue aws-regions


【解决方案1】:

我确实使用了 pymysql / MySQLDB 库,并直接在我的代码中配置了 RDS URL。你试过吗?

示例:

import pymysql
pymysql.install_as_MySQLdb()
import MySQLdb

dbconn = MySQLdb.connect("URL", "USERNAME", "PASSWORD", "DATABASE")
cursor = dbconn.cursor()
cursor.execute("YOUR QUERY GOES HERE")
cursor.fetchall()
dbconn.commit()

dbconn.close()

【讨论】:

  • 感谢您的回复。但是,我的用例是创建一个胶水连接,Glue Crawler 将使用它来抓取 RDS 数据库并填充胶水目录。为此,我不能使用上面的代码,因为我没有使用 Glue ETL 作业。
  • Yuva,你在哪里运行这段代码,在 Glue 的 ETL 脚本部分?你在哪里定义胶水的VPC、子网等?如果你没有在glue中的某个地方定义它,来自glue的连接将被RDS的安全组阻止(我假设RDS的安全组不简单地允许所有流量)。谢谢,
猜你喜欢
  • 2020-04-12
  • 1970-01-01
  • 1970-01-01
  • 2018-05-11
  • 1970-01-01
  • 2016-12-31
  • 1970-01-01
  • 2021-02-06
  • 2014-09-04
相关资源
最近更新 更多