我使用 django 作为 Web 框架。我需要一个可以执行同步和异步（批处理任务）任务链的工作流引擎。我发现 celery 和 luigi 作为批处理工作流程。我的第一个问题是这两个模块之间有什么区别。
Luigi 允许我们重新运行失败的任务链，并且只有失败的子任务才能重新执行。 celery 呢：如果我们重新运行链（在修复失败的子任务代码之后），它是否会重新运行已经成功的子任务？
假设我有两个子任务。第一个创建一些文件，第二个读取这些文件。当我将这些放入芹菜链中时，由于第二个任务中的错误代码，整个链失败。当我在第二个任务中修复代码后重新运行链时会发生什么？第一个任务会尝试重新创建这些文件吗？
【问题讨论】：
（我是路易吉的作者）
Luigi 不适用于同步低延迟框架。它适用于运行数小时或数天的大型批处理过程。所以我认为对于你的用例，Celery 实际上可能会稍微好一点
【讨论】：
更新：正如 Erik 指出的那样，Celery 是这种情况下的更好选择。
芹菜：
什么是芹菜？
Celery 是一个简单、灵活且可靠的分布式系统，可处理大量消息，同时为操作提供维护此类系统所需的工具。
为什么要使用 Celery？
路易吉
什么是路易吉？
Luigi（Spotify 最近开源的 Python 框架）是一个 Python 包，可帮助您构建复杂的批处理作业管道。它处理依赖关系解析、工作流管理、可视化、处理故障、命令行集成等等。
为什么要使用 Luigi？
结论：如果您需要一个工具来简单地安排任务并运行它们，您可以使用 Celery。如果您正在处理大数据和大型处理，您可以选择 Luigi。
【讨论】：