【问题标题】:Get ZIP file from SFTP to Azure Datalake using Azure data factory and store it into CSV format使用 Azure 数据工厂从 SFTP 获取 ZIP 文件到 Azure Datalake 并将其存储为 CSV 格式
【发布时间】:2021-01-22 11:14:33
【问题描述】:

嗨,在 SFTP 中有压缩格式的 CSV 文件 我能够为 SFTP 安装 IR 并且连接成功,但是从 SFTP 源复制 ZIP 文件以存储到 ADLS 中出现错误(导入架构失败或未定义格式)。

我已经为这个场景使用了复制数据工具和数据流,但我不确定如何从 ADF 中的 SFTP 中压缩 zip 文件。

【问题讨论】:

标签: azure sftp azure-data-factory azure-data-factory-pipeline


【解决方案1】:

你可以试试下面的:

更改为在源数据集和复制活动的接收器数据集中设置“ZipDeflate”压缩类型,您无需指定任何压缩配置(压缩类型为“无”)。

在复制活动接收器设置中,请将复制行为设置为“Flatten Hierarchy”以解压缩并写入单个文件。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-05-14
    • 2021-05-12
    • 2020-01-27
    • 1970-01-01
    • 2022-01-11
    • 1970-01-01
    • 2021-10-21
    • 1970-01-01
    相关资源
    最近更新 更多