【问题标题】:Copy data from azure blob storage to adls gen 2将数据从 azure blob 存储复制到 adls gen 2
【发布时间】:2020-11-20 13:54:55
【问题描述】:
我在 azure blob 存储中有大约 200 万个 json 文件。每个文件包含一条记录。我需要将所有这些 json 文件移动到创建日期大于 2019-01-01 的 adls gen 2。
注意:createdate 是 json 中的字段之一。
是否可以通过azure数据工厂实现这一点
【问题讨论】:
标签:
azure
azure-data-factory
azure-data-factory-2
azure-databricks
azure-data-lake-gen2
【解决方案1】:
是的,您需要使用查询来执行此操作。首先请把数据放到一些可以做数据分析的空间里。
首先,创建一个copy activity1(将数据从azure blob storage 复制到sql 数据库),然后创建一个copy activity2(将数据从sql 数据库复制到adls gen2。 )
在复制activity2的源码中,请这样做:
select *
from dbo.test1 A
where A.createdate >= '2019-01-01'
我已经做了一个测试,它工作正常。请试一试。