【问题标题】:Job orchestration作业编排
【发布时间】:2013-01-30 13:08:52
【问题描述】:

我目前正在重做我们所有的数据库编排工作(ETL、备份、日常任务、报告编译等)

为此,我需要一个任务/作业编排器,我可以在其中定义任务依赖性、基于时间的任务、异步任务等。

我正在研究 celery 和基于流的编程技术,但我不确定这些技术是否适合我的用例。

我更多地关注一个可以支持所有这些东西的框架。 有什么建议吗?

【问题讨论】:

    标签: python scheduled-tasks orchestration


    【解决方案1】:

    可能为时已晚,但我想提一下 Job runner 以供其他可能提出此问题的人使用。

    来自他们的 GitHub 存储库 README.rst:

    Job-Runner 是一个类似 crontab 的工具,有一个很好的网络前端,用于管理和(实时)监控当前状态。

    特点:

    • 安排重复作业
    • 工作链
    • 将工作人员放入池中以实现负载平衡
    • 安排作业在池中的所有工作人员上运行
    • 实时仪表板(带有终止运行和临时计划的选项)
    • 多个项目和每个项目的权限管理

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2014-10-08
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多