【问题标题】:Best Azure serverless service to run python data processing project [closed]运行 python 数据处理项目的最佳 Azure 无服务器服务 [关闭]
【发布时间】:2021-01-29 07:42:46
【问题描述】:

我对 Azure 还很陌生,对所有可用的服务有点迷茫。

我想做什么: 我想在 Azure 上运行一个 Python 无服务器项目,它从数据库中获取数据,对其进行处理,进行一些分析并将其再次写入数据库。完成后,它应该再次停止服务器。这可以由上传到存储位置的某些数据触发,或者必须定期运行。最理想的我希望能够通过 CD (GitHub Actions) 构建它。

我发现了什么 阅读文档和其他一些资源,这些是我认为我可以按降序使用的服务,但我不是 100% 确定。

  1. Azure 函数
  2. Azure 容器实例
  3. Azure Web 应用程序

我也找到了this,但似乎已经过时了。

问题: 哪种 Azure 服务最适合我的用例。

【问题讨论】:

    标签: azure azure-web-app-service azure-functions etl azure-data-factory


    【解决方案1】:

    您要完成的任务有一个名称 - ETL(Extract-Transform-Load)。当您需要从其源(在您的情况下为 DB)获取数据、对其进行操作并将其卸载到某个目的地(在您的情况下为 DB)时,这是一种通用模式。

    您列出了一些有效的选项。从您的列表中,Azure Function 将是一个真正的无服务器选项,因为它在空闲时不会向您收费。其他选项也可以完成任务,但是当您的代码什么都不做时,您也需要支付几个小时的费用。

    还有一项服务可以满足您的需求:Azure Data Factory。您可以使用 UI 设计数据流,并将 Python 函数作为步骤包含在内。总体结果将是一个数据管道(如数据的 CD)。当然,它是无服务器。您只需为管道执行的时间付费。

    【讨论】:

    • 数据库已经在 azure 数据工厂中,重要的是事件的 CD 和调度。
    • “数据库已经在 azure 数据工厂”是什么意思?数据工厂是移动数据的工具。
    猜你喜欢
    • 2010-12-31
    • 2015-08-11
    • 2017-07-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-08-24
    相关资源
    最近更新 更多