【问题标题】:Manage Azure BlobStorage file append with ADF使用 ADF 管理 Azure Blob 存储文件追加
【发布时间】:2020-05-05 12:46:25
【问题描述】:

我有一个天蓝色的数据工厂管道,它通过调用 Azure 数据流来存储具有某些操作的数据。 这里 blob 存储中的文件名应该是 pipeline-run-id。

管道复制活动具有“复制行为”,我在数据流的接收器流中找不到相关选项?

现在我遇到了一种情况,我要在同一个管道执行中多次调用同一个 Azure 数据流。因此,我的文件在 blob 中被覆盖。但是如果存在,我想将新数据附加到同一个文件中。

例如。如果管道运行 id '9500d37b-70cc-4dfb-a351-3a0fa2475e32' 并且从该管道执行 2 次数据流调用。在这种情况下,9500d37b-70cc-4dfb-a351-3a0fa2475e32.csv 只有第二个天蓝色数据流处理的数据。

【问题讨论】:

    标签: azure blob azure-data-factory azure-data-flow


    【解决方案1】:

    数据流不支持copyBehavior。这意味着数据流不支持合并/追加文件。

    每次调用数据流时,它都会创建一个新文件“9500d37b-70cc-4dfb-a351-3a0fa2475e32.csv”并替换现有的“9500d37b-70cc-4dfb-a351-3a0fa2475e32.csv”。

    希望这会有所帮助。

    【讨论】:

      猜你喜欢
      • 2020-08-02
      • 1970-01-01
      • 2021-04-19
      • 2021-10-08
      • 2021-03-13
      • 1970-01-01
      • 2020-04-27
      • 2015-06-20
      • 2021-07-09
      相关资源
      最近更新 更多