【问题标题】:Azure Data Factory GetMetadata ActivityAzure 数据工厂 GetMetadata 活动
【发布时间】:2020-06-11 15:00:10
【问题描述】:

我的一个天蓝色数据工厂管道中有一个元数据活动,它连接到数据湖以获取文件。 Azure 数据工厂中是否有任何方法可以根据文件名对元数据活动中可用的文件进行排序?

元数据活动的示例输出如下所示 “子项”:[ { "name":"File_20200101.csv", “类型”:“文件” }, { "名称":"文件_20200501.csv", “类型”:“文件” }, { "name":"File_20200301.csv", “类型”:“文件” }, { "name":"File_20200201.csv", “类型”:“文件” } ]

我需要按以下顺序获取文件。

“子项”:[ { "name":"File_20200101.csv", “类型”:“文件” }, { "name":"File_20200201.csv", “类型”:“文件” }, { "name":"File_20200301.csv", “类型”:“文件” }, { "名称":"文件_20200501.csv", “类型”:“文件” } ]

问候, 桑迪普

【问题讨论】:

    标签: json azure-data-factory azure-data-lake azure-data-factory-2


    【解决方案1】:

    基于GetMetadata Activity doc,子项没有排序功能。所以,恐怕您必须自己对 childItems 进行排序。

    在 ADF 环境中,您可以在 GetMetadata Activity 之后使用 Azure Function Activity。将 childItems 作为数组参数传递给 Azure 函数。在 azure 函数中,很容易按一个元素对数组中的元素进行排序,这是常见的要求,所以你可以随心所欲地编写代码。

    【讨论】:

    • 嗨 Jay,我使用 SQL 服务器表来存储数组值,而不是 Azure 函数,然后在另一个循环中使用查找活动来获取排序的文件名。这帮助我解决了排序问题
    • @SandeepT 好的。谢谢你的分享。你可以接受你的回答来结束这个案子!
    【解决方案2】:

    我使用了一个 SQL 服务器表来存储数组值,然后在另一个循环中使用了一个查找活动以及按文件名查询的顺序来获取排序的文件名。这帮助我解决了排序问题

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-12-17
      • 2022-01-04
      • 1970-01-01
      • 1970-01-01
      • 2022-11-11
      • 2020-09-17
      • 2020-04-17
      • 1970-01-01
      相关资源
      最近更新 更多