【发布时间】:2019-02-10 09:33:10
【问题描述】:
我有一些 JSON 包含具有不同架构的不同事件,如下所示:
{
"events": [{
"key": "an_action",
"properties": {
"user": "111111111111",
"datetime": "2018-9-05 10:00:00",
"value_a": "123",
"value_b": "123",
"value_c": "123"
}
},
{
"key": "another_action",
"properties": {
"user": "111111111111",
"datetime": "2018-9-05 10:00:00",
"quantity": "1",
"cash": "£123",
"something": "else"
}
},
{
"key": "one_more_action",
"properties": {
"user": "111111111111",
"datetime": "2018-9-05 10:00:00",
"activated": "true"
}
}]
}
当我尝试用 Glue 解析它时,我最终得到了一个包含单个列的表:
事件:数组
我尝试使用 $.events[*] 的 JSON 分类器,但这没有帮助。
我觉得问题在于我的输入 JSON 结构不适用于 Glue 爬虫。
在使用 Glue 之前更改 JSON 结构似乎是正确的做法,但从 Glue 文档中不清楚是否存在用于在单个 JSON 块中处理混合架构事件的推荐结构。
在我的 JSON 中,“key”包含事件的名称,“properties”是属性列表。
我最终希望在 Redshift 中为每个事件(例如 an_action、another_action、one_more_action)提供一个表。从那里我可以查看加载到事实/维度星型模式中,但这是以后的事情。
简而言之,我的问题是 Glue 可以从混合模式 JSON 创建多个表吗?如果是这样,那么这样做的首选 JSON 结构将允许以下操作:
- 具有不同架构的多个事件
- 每个事件的多个实例(记录)
谢谢
【问题讨论】:
标签: json amazon-redshift aws-glue