【问题标题】:Add file name as column in data factory pipeline destination在数据工厂管道目标中添加文件名作为列
【发布时间】:2019-01-22 00:19:46
【问题描述】:

我是 DF 的新手。我正在将一堆 csv 文件加载到一个表中,我想将 csv 文件的名称捕获为目标表中的一个新列。

有人可以帮助我如何实现这一目标吗?在此先感谢

【问题讨论】:

    标签: pipeline azure-data-factory


    【解决方案1】:

    如果您使用映射数据流,源设置下有一个选项可保存正在使用的文件名。稍后可以将其映射到 Sink 中的列。

    【讨论】:

      【解决方案2】:

      如果您的目标是 azure 表存储,您可以将文件名放入分区键列。否则,我认为 ADF 没有本地方法可以做到这一点。您可能需要custom activitystored procedure

      【讨论】:

        【解决方案3】:
        1. 一篇帖子说可以使用数据块来处理这个问题。 Data Factory - append fields to JSON sink

        2. 另一个帖子说他们正在使用 USQL 来处理这个问题。 use adf pipeline parameters as source to sink columns while mapping

        3. 对于存储过程,请参考这篇文章。 Azure Data Factory mapping 2 columns in one column

        【讨论】:

          猜你喜欢
          • 2018-02-20
          • 2021-07-20
          • 2020-09-06
          • 1970-01-01
          • 1970-01-01
          • 2021-01-15
          • 1970-01-01
          • 1970-01-01
          • 2019-08-25
          相关资源
          最近更新 更多