【问题标题】:Data factory: File move数据工厂:文件移动
【发布时间】:2021-05-06 18:22:23
【问题描述】:

我正在研究数据工厂,想知道是否有任何活动只是“移动文件”而不实际读取它们而不是“复制数据”(这似乎是读取操作)?

如果存在文件,我会尝试将文件从一个文件夹移动到另一个文件夹,并且如果文件很多,由于复制数据会读取每个文件,因此会导致进程变慢。

任何建议。这就是我当前数据源的样子,我想要做的就是,如果该位置存在任何 csv 文件,请移动它而不按说读取它。

【问题讨论】:

  • 而不是csv,如果您选择二进制,它将复制对象而不逐行读取文件
  • 谢谢 Kannan,我在哪里做呢?哪个物业?另外,我只对移动 .csv 类型的文件感兴趣
  • @KannanKandasamy 是正确的。 Binary 是一种代替 Delimited 的数据集类型。您可以在运行时使用 Dataset 参数控制文件名。

标签: azure-data-factory azure-data-factory-2


【解决方案1】:

所以这是我用来移动文件的 MSFT 链接。 https://docs.microsoft.com/en-us/azure/data-factory/solution-template-move-files

在解释所有内容时,本教程并不是很详细。就像它假设用户需要参数一样。我按照它说的做了,但是我的数据集准确地指向了需要拾取和放置文件的位置,所以我将参数留空。调试或运行触发器没有移动文件.. 解决方案不起作用。

我必须删除模板中创建的参数才能使其正常工作。如果它对某些人有帮助。之后文件移动开始发生。

因此吸取了教训,空参数将不起作用。如果您不需要它们,请将它们删除。

另外,我观看了本教程以防它对某些人有所帮助。

https://www.youtube.com/watch?v=u_X_f4z8zoQ

【讨论】:

    猜你喜欢
    • 2020-06-27
    • 2021-04-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-05-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多