【问题标题】:how can i parse a nested json file in Azure Data Factory?如何解析 Azure 数据工厂中的嵌套 json 文件?
【发布时间】:2022-01-31 20:05:56
【问题描述】:

我在 datalake 中有多个 json 文件,如下所示:

复杂类型也嵌入了数组。

如何通过使用复制活动或映射数据流将此 json 扁平化为 csv 文件?

谢谢

【问题讨论】:

    标签: azure-data-factory azure-data-factory-2 azure-mapping-data-flow


    【解决方案1】:

    要展平数组,请使用展平变换并展开每个数组。

    【讨论】:

    • 嗨,马克 - 我关注了多个关于此问题的博客,但源无法预览数据流中的数据,并且即使 JSON 文件有效,也会出现“格式错误”的问题。它无法解析文件..这方面有一些指导方针吗?
    • 点击源中的“导入投影”会发生什么?
    【解决方案2】:

    由于您的源Json数据包含多个数组,您需要将Json Setting下的文档形式指定为'Array of documents'

    然后,使用 flatten transformation 并在 flatten 设置中,在 unrollBy 选项中提供 'MasterInfoList'。使用另一个 flatten 转换来展开 'links' 数组以将其展平,如下所示。

    【讨论】:

      【解决方案3】:

      首先使用 this 在线 JSON 格式化程序和验证器检查 JSON 格式是否正确。

      如果源 json 格式正确但您仍然遇到此问题,请确保选择正确的文档表单(SingleDocument 或 ArrayOfDocuments)。

      另请参阅 Mohana B C 的 Stackoverflow answer

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2022-08-05
        • 1970-01-01
        • 1970-01-01
        • 2020-12-22
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多