【问题标题】:Azure data factory binary copy from FTP来自 FTP 的 Azure 数据工厂二进制副本
【发布时间】:2018-04-18 11:41:23
【问题描述】:

我有复制活动,将 .zip 文件的二进制副本从 FTP 复制到 ADLS。 一切正常,我设法复制了 6 个文件,当我需要复制大小为 4GB 的 .zip 文件时,它给我一个错误远程服务器错误 530 - 未登录。有人知道是什么原因造成的吗?

【问题讨论】:

  • 可能是ftp服务器在传输完成之前关闭了会话?也许它太慢了?尝试测试 ftp 服务器的吞吐量
  • 嗨马丁,再次:)。复制活动在 1 分钟后给我一个错误。我设法用 WINSCP 复制了一个文件,几乎没有重新连接。它是一个外部来源,所以我对 FTP 的选择非常有限。我想知道这是否与 ADF 有关。
  • 你好!没想到是你问的。尝试对活动的策略属性使用不同的值。您可以配置重试和 retryIntervalInSeconds。更多信息:docs.microsoft.com/en-us/azure/data-factory/…
  • 是的,这看起来会有所帮助。我看到 WinSCP 也超时,但它有自己的重试策略。我会努力的,我会去找你的。谢谢马丁。
  • 是的,它总是从头开始 :( 没有办法让它从失败的地方开始。也许你可以和 ftp 管理员谈谈?或者要求 zip 文件分成更小的部分

标签: azure ftp azure-data-factory


【解决方案1】:

复制活动级别重试将始终从头开始,但也有重试内部复制活动将从断点恢复。如果一个 Copy 最终失败,则意味着断点续传也失败了。 您能否提供一个 RunID 以进行故障排除?

问候, 加里

【讨论】:

  • 对不起,我没有看到你的评论。我得到了一些信息,将来会有一个自动恢复选项,但不知道 ETA。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2018-02-28
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-04-10
  • 2020-09-17
相关资源
最近更新 更多