【问题标题】:ADF: Dataflow sink activity file format for adlsADF:adls 的数据流接收器活动文件格式
【发布时间】:2021-04-10 06:12:42
【问题描述】:

我想将多个表数据从 Azure SQL 数据库复制到 ADLS gen2。我创建了一个将表名作为动态输入值的管道。后来我使用了将数据复制到adls的数据流活动。我使用水槽类型作为增量。现在,我的表数据很少使用 snappy.parquet 格式正确复制到 adls,但由于列名对于 delta 格式无效,因此很少出现错误。

我们如何处理这个错误并从所有表中复制数据?

还想知道在 adls 的目标文件夹中生成的文件的文件格式是否默认为 parquet 文件?或者有什么办法可以改变吗?

【问题讨论】:

    标签: azure azure-data-factory azure-data-factory-pipeline


    【解决方案1】:

    Delta 格式在下面是镶木地板。您不能使用像 " ,;{}()\n\t=" 这样的字符,而必须将其替换为 _ 或其他字符。

    Dataflow 可以轻松地在派生或选择转换中重命名列名。

    【讨论】:

    猜你喜欢
    • 2021-12-06
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-06-14
    • 1970-01-01
    • 2022-06-14
    • 2021-09-30
    • 2019-02-28
    相关资源
    最近更新 更多