【问题标题】:Azure Data Factory copy activity creates empty filesAzure 数据工厂复制活动创建空文件
【发布时间】:2021-07-02 08:00:31
【问题描述】:

每当我使用 Blob 作为源/接收器的 ADF 复制活动时,ADF 都会创建一个以接收器 Blob 的目录命名的空文件。 例如,如果我想从 input/file.csv 复制到 process/file.csv,复制会发生,但我还有一个名为“process”的 blob,每次创建大小为 0 字节。

知道为什么吗?

Source Sink

【问题讨论】:

  • 嗨@Grégory Vial,您能否添加更多信息,例如您的复制活动 - 源/接收器设置图片。
  • 我们需要你如何设置副本激活,你能提供任何截图吗?
  • 查看问题中的编辑并添加截图。
  • @GrégoryVial 您正在将多个.csv 文件复制到一个文件中。没遇到过这种情况,能不能刷新数据工厂再运行一下?或者重启浏览器。
  • @leon Yue,不是这样,这是一对一复制

标签: azure-blob-storage azure-data-factory


【解决方案1】:

首先,我建议您优化管道复制活动设置。

由于您将一个文件从一个容器/文件夹复制到另一个,您可以直接使用参数设置源文件。通配符路径表达式 *.csv 通常用于文件夹相同类型的文件。

你可以再次测试,看看空文件是否存在。

HTH。

【讨论】:

  • 使用文件名代替通配符可以解决问题。谢谢!
  • @GrégoryVial 不客气。您能接受它作为答案吗(单击答案旁边的复选标记将其从灰色切换为已填充。)。这对其他社区成员可能是有益的。谢谢。
【解决方案2】:

如果您有存储 ADLS gen2 但尚未启用分层命名空间,并且您在定义链接服务和数据集时选择了 ADLS gen2,则会发生这种情况。对此的快速解决方法是在定义 LS 和 DS 时使用 Azure Blob 存储。

【讨论】:

    猜你喜欢
    • 2022-01-04
    • 1970-01-01
    • 2019-03-09
    • 2020-12-13
    • 2020-03-19
    • 2020-09-15
    • 1970-01-01
    • 2020-06-23
    • 2021-06-10
    相关资源
    最近更新 更多