【问题标题】:What are some ways to handle bad files in Azure Datafactory Copy ActivityAzure 数据工厂复制活动中处理坏文件的方法有哪些
【发布时间】:2020-08-10 22:37:30
【问题描述】:

使用默认数据工厂复制活动将文件从 json blob(使用修改后的时间戳的源)加载到 sqldb 表(目标)时。对于容错设置,如果该行不兼容,则跳过该行,但如果存在不是有效 json 格式的错误文件,则活动会出错并重试,而不是跳过该错误文件。

有哪些方法可以在 ADF 复制活动中识别/跳过不兼容或损坏的文件?

提前致谢

failure log screenshot

【问题讨论】:

    标签: azure azure-data-factory azure-data-factory-pipeline


    【解决方案1】:

    根据Fault tolerance of copy activity in Azure Data Factory,复制活动的容错只支持二进制文件表格数据
    尚不支持识别无效的 json 文件。

    【讨论】:

      猜你喜欢
      • 2022-01-04
      • 1970-01-01
      • 2020-09-15
      • 2021-07-02
      • 1970-01-01
      • 2020-12-13
      • 1970-01-01
      • 2020-08-14
      • 2022-06-30
      相关资源
      最近更新 更多