【问题标题】:How use output of data flow in the copy data activty in azure data factory如何在 Azure 数据工厂的复制数据活动中使用数据流的输出
【发布时间】:2022-12-09 15:01:13
【问题描述】:
我有一个 excel 文件,我将其转换为 adf 中的 azure 数据流。我添加了一些列并转换了一些值。下一步我想将新数据复制到 cosmos 数据库中。我怎样才能做到这一点?目前尚不清楚如何将数据流的结果获取到 copyData 活动中。我在数据流中有一个接收器,它将转换后的数据存储到 csv 中。据我了解,出于性能原因,adf 将创建多个文件。或者有没有办法“即时”进行更改并进一步处理转换后的文件
谢谢
【问题讨论】:
标签:
azure
azure-data-factory
azure-data-flow
【解决方案1】:
- 如果您的接收器是
Cosmos DB for No SQL,那么 Azure 数据流中有一个直接接收器连接器可用。应用转换后,您可以创建数据集并直接移动数据。
- 如果您的接收器不适用于 No SQL,那么就像您所做的那样,将您的数据作为 csv 文件写入您的存储帐户。如果您选择将数据写入单个文件,则可以在接收器设置中选择
Output to single file 选项并提供文件名。
- 您可以直接选择此文件复制到您的接收器。但是如果您已经将数据写入一个文件夹中的多个文件,您可以使用通配符路径选项,如下所示: