【问题标题】:Suggested JSON structure for mixed schema events to be crawled by GlueGlue 抓取的混合模式事件的建议 JSON 结构
【发布时间】:2019-02-10 09:33:10
【问题描述】:

我有一些 JSON 包含具有不同架构的不同事件,如下所示:

{
    "events": [{
        "key": "an_action",
        "properties": {
            "user": "111111111111",
            "datetime": "2018-9-05 10:00:00",
            "value_a": "123",
            "value_b": "123",
            "value_c": "123"
        }
    },
    {
        "key": "another_action",
        "properties": {
            "user": "111111111111",
            "datetime": "2018-9-05 10:00:00",
            "quantity": "1",
            "cash": "£123",
            "something": "else"
        }
    },
    {
        "key": "one_more_action",
        "properties": {
            "user": "111111111111",
            "datetime": "2018-9-05 10:00:00",
            "activated": "true"
        }
    }]
}

当我尝试用 Glue 解析它时,我最终得到了一个包含单个列的表:

事件:数组

我尝试使用 $.events[*] 的 JSON 分类器,但这没有帮助。

我觉得问题在于我的输入 JSON 结构不适用于 Glue 爬虫。

在使用 Glue 之前更改 JSON 结构似乎是正确的做法,但从 Glue 文档中不清楚是否存在用于在单个 JSON 块中处理混合架构事件的推荐结构。

在我的 JSON 中,“key”包含事件的名称,“properties”是属性列表。

我最终希望在 Redshift 中为每个事件(例如 an_action、another_action、one_more_action)提供一个表。从那里我可以查看加载到事实/维度星型模式中,但这是以后的事情。

简而言之,我的问题是 Glue 可以从混合模式 JSON 创建多个表吗?如果是这样,那么这样做的首选 JSON 结构将允许以下操作:

  • 具有不同架构的多个事件
  • 每个事件的多个实例(记录)

谢谢

【问题讨论】:

    标签: json amazon-redshift aws-glue


    【解决方案1】:

    联系了支持人员,并被告知 Glue 爬虫不支持同一文件中的多个架构。所以我修改了原始的 JSON,每个文件有一个模式,每个文件有多个记录。

    【讨论】:

      猜你喜欢
      • 2019-02-19
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-04-29
      • 1970-01-01
      • 2019-10-04
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多