用于迁移数百万个文件的 Azure Logic App

Question

我有以下要求，我考虑使用 Azure LogicApp：

• 放置在 Azure Blob 存储中的文件必须迁移到自定义位置（可能因情况而异）
• 文件数量约为 1 000 000
• 当流程结束时，我们应该有一个报告，说明有多少记录（文件）失败
• 如果进程在中间某处停止，则下一次运行必须仅采用尚未迁移的文件
• 过程必须尽可能快，文件必须在 N 小时内迁移

但让我担心的是，我找不到任何示例或文章（包括 Azure 官方文档）可以通过 Azure LogicApp 实现相同的目标。

我对自己的要求和 Azure Logic App 有一些想法：

1. 我认为我必须使用分页来处理这么多文件，因为 Azure Logic App 将无法读取数百万个文件名 - https://docs.microsoft.com/en-us/azure/logic-apps/logic-apps-exceed-default-page-size-with-pagination
2. 我可以在 Azure 表存储中添加一条记录以跟踪失败的迁移（例如创建一条记录来说明进程已启动并在文件移动到目标时更新它）
3. 我不知道如何在不使用自定义跟踪机制的情况下重新启动 Azure 逻辑应用程序（例如，它可以是同一个 Azure 表存储实例）
4. 关于将工作拆分到多个单位的问题仍然悬而未决

您认为 Azure Logic App 是满足我需求的正确选择，还是我应该考虑别的？如果 Azure LogicApp 可以为我工作，您能否分享您对我如何实现给定要求的想法和想法？

Answer 1

我不认为逻辑应用程序是您实现要求的好解决方案，因为文件数量约为 1000000，这太多了。对于这个要求，我建议你使用 Azure 数据工厂。

根据数据工厂迁移azure blob中的数据，可以参考这个document