【问题标题】:Azure: Handle 1000k blobs. Which Azure Service should I choose?Azure:处理 1000k blob。我应该选择哪个 Azure 服务?
【发布时间】:2019-01-24 09:14:45
【问题描述】:

我有 1000k blob。我需要删除其内容中的空行并覆盖。 为了实现目标,我计划使用:

  1. Azure 网络作业
  2. 数据工厂
  3. Azure 批处理

您能否给我一些建议,哪种服务最适合这种情况?

【问题讨论】:

  • 这个问题可能会引发主要基于意见的答案。请参考How to Ask

标签: azure batch-processing azure-blob-storage azure-webjobssdk


【解决方案1】:

使用Azure Functions

使用可扩展以满足需求的简单、无服务器功能轻松构建您需要的应​​用。使用您选择的编程语言,无需担心服务器或基础架构。

Data Factory 是一项数据集成服务,旨在创建、安排和管理您的数据集成。这不是删除文件中空行的工具。

Azure Batch 是一种高性能计算解决方案,可以启动大量虚拟机。这对于从文件中删除空行来说太过分了。

【讨论】:

    【解决方案2】:

    已经有人推荐了 Azure Functions。我会添加更多。使用专门的 Azure Durable 函数并并行化称为扇入/扇出的任务。

    您只需要跟踪您已处理的 Blob 项目。它肯定会更便宜、更快捷。你可以在这里找到更多关于并行化 blob 任务的示例。

    https://docs.microsoft.com/en-us/azure/azure-functions/durable/durable-functions-cloud-backup

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2016-10-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-08-01
      • 1970-01-01
      相关资源
      最近更新 更多