组合 AWS Glue 作业中的字段

【问题标题】：Combining fields in AWS Glue jobs组合 AWS Glue 作业中的字段
【发布时间】：2020-05-08 19:53:32
【问题描述】：

我的目标是从 DDB 表中提取记录并将它们转换为 S3 JSON 对象。

DDB表中的记录是：

帐户显示名称姓名对象名对象标识对象定义

S3 对象所需的定义是：

{
   "accounts": "example",
   "name": "exampleDisplay",
   "objectJson": "{
"displayname":"exampleDisplay",
"objectname":"exampleObjectName",
"objectId":"exampleObjectId",
"objectDefinition":"exampleDefintion",
}
}

现在，将其转换为 camelCase 的 spark 转换脚本很容易。但是如何创建一个像 objectJson 这样的新字段并将 ddb 中的某些字段作为 JSON 添加到它。

【问题讨论】：

标签： json amazon-s3 pyspark aws-glue

【解决方案1】：

你可以通过以下方式做到这一点

df = spark.createDataFrame([('accounts','name','displayname','objectname','objectId','objectDefinition'),('accounts','name','displayname','objectname','objectId','objectDefinition')], ['accounts','name','displayname','objectname','objectId','objectDefinition'])

df2 = df.withColumn('objectJson',f.struct(
                            f.col('displayname'),
                            f.col('objectname'),
                            f.col('objectId'),
                            f.col('objectDefinition')
)).select('accounts','name','objectJson')

df2.toJSON().take(100)

[{"accounts":"accounts",
   "name":"name",
   "objectJson":{
                 "displayname":"displayname",
                 "objectname":"objectname",
                 "objectId":"objectId",
                  objectDefinition":"objectDefinition"
}}]

df2.repartition(1).write.json('path/to/save/data')

希望对你有帮助

【讨论】：