使用 Scala 提取嵌入式 AWS Glue 连接凭证

Question

我有一个直接从 redshift 读取数据的胶水作业，为此，必须提供连接凭据。我已经创建了一个嵌入式粘合连接，并且可以使用以下 pyspark 代码提取凭据。有没有办法在 Scala 中做到这一点？

glue = boto3.client('glue', region_name='us-east-1')
    
response = glue.get_connection(
    Name='name-of-embedded-connection',
    HidePassword=False 
)
    
table = spark.read.format(
    'com.databricks.spark.redshift'
).option(
    'url',
    'jdbc:redshift://prod.us-east-1.redshift.amazonaws.com:5439/db'
).option(
    'user',
    response['Connection']['ConnectionProperties']['USERNAME']
).option(
    'password',
    response['Connection']['ConnectionProperties']['PASSWORD']
).option(
    'dbtable',
    'db.table'
).option(
    'tempdir',
    's3://config/glue/temp/redshift/'
).option(
    'forward_spark_s3_credentials', 'true'
).load()

Answer 1

AWS 没有等效的 scala 来发出此 API 调用。但是您可以在 scala 中使用 Java SDK 代码，如 answer 中所述。

This 是对getConnection 的 Java SDK 调用，如果您不想这样做，可以按照以下方法：

1. 创建 AWS Glue python shell 作业并检索连接信息。

2. 一旦你有了这些值，然后调用另一个 scala Glue 作业，并在你的 python shell 作业中使用这些作为参数，如下所示：

glue = boto3.client('glue', region_name='us-east-1')

response = glue.get_connection(
    Name='name-of-embedded-connection',
    HidePassword=False 
)

response = client.start_job_run(
               JobName = 'my_scala_Job',
               Arguments = {
                 '--username': response['Connection']['ConnectionProperties']['USERNAME'],
                 '--password': response['Connection']['ConnectionProperties']['PASSWORD'] } )

1. 然后使用 getResolvedOptions 在 scala 作业中访问这些参数，如下所示：

导入 com.amazonaws.services.glue.util.GlueArgParser

val args = GlueArgParser.getResolvedOptions(
  sysArgs, Array(
    "username",
    "password")
)
val user = args("username")
val pwd  = args("password")