【问题标题】:ADF: Sink Directory Ignored in my Data FlowADF:我的数据流中忽略了接收器目录
【发布时间】:2020-06-28 12:19:31
【问题描述】:

任何人都对接收器数据集中的目录设置有疑问。这些文件最终位于仅包含文件系统值的位置:

所以文件最终在 /curated 但应该以 /curated/profiledata 结尾

【问题讨论】:

  • 当我将完整路径放入文件系统时,我收到“具有无效权限”错误“DFExecutorUserError”
  • 文件夹“porfiledata”是否存在或只是自动创建?文件路径=容器/文件夹/文件。您可以尝试使用两个参数添加动态内容来设置文件夹名称/和文件名。
  • @LeonYue 我在目录存在和自动创建时都尝试过,两者都不起作用。在数据流中,您不能使用连接参数,或者我不知道如何,源或接收器连接中没有参数设置。我已经向 MS 提出了一张票。

标签: azure-data-factory azure-data-factory-2 azure-data-lake-gen2 azure-data-flow


【解决方案1】:

这取决于您选择的文件名选项。

“输出到单个文件”将遵循该数据集文件路径文件夹。

但是,如果您使用“作为列中的数据”,我们会从容器根目录开始,以便您可以将文件放在不同的多个文件夹位置。您只需将路径附加到派生列中列中的值即可设置正确的路径。

【讨论】:

  • 谢谢,我会测试一下。任何想法为什么“复制数据”之后的 json 是 UTF-8 BOM 编码的?由于这个原因,我认为我的数据流无法解析 json。
  • 您在复制接收器数据集中设置了什么编码?
  • 接收器设置为(默认)UTF-8
  • 我将所有数据集更改为使用 iso-8859-1,这很有效。最后一个接收器中的文件的编码只有 utf-8,虽然不是 iso-8859-1,但我对此很满意。
猜你喜欢
  • 1970-01-01
  • 2020-02-24
  • 1970-01-01
  • 1970-01-01
  • 2015-01-23
  • 2021-07-20
  • 1970-01-01
  • 2020-06-14
  • 1970-01-01
相关资源
最近更新 更多