【问题标题】:Copy data from azure blob storage to adls gen 2将数据从 azure blob 存储复制到 adls gen 2
【发布时间】:2020-11-20 13:54:55
【问题描述】:

我在 azure blob 存储中有大约 200 万个 json 文件。每个文件包含一条记录。我需要将所有这些 json 文件移动到创建日期大于 2019-01-01 的 adls gen 2。

注意:createdate 是 json 中的字段之一。

是否可以通过azure数据工厂实现这一点

【问题讨论】:

    标签: azure azure-data-factory azure-data-factory-2 azure-databricks azure-data-lake-gen2


    【解决方案1】:

    是的,您需要使用查询来执行此操作。首先请把数据放到一些可以做数据分析的空间里。

    首先,创建一个copy activity1(将数据从azure blob storage 复制到sql 数据库),然后创建一个copy activity2(将数据从sql 数据库复制到adls gen2。 )

    在复制activity2的源码中,请这样做:

    select *  
    from dbo.test1 A 
    where A.createdate >= '2019-01-01'
    

    我已经做了一个测试,它工作正常。请试一试。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-08-29
      • 2019-03-30
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-04-20
      • 2020-08-18
      相关资源
      最近更新 更多