我有一个 Luigi 管道，其中包含我批量运行的任务图。其中一些任务依赖于昂贵的资源（例如 AWS EC2 机器集群或其他昂贵的资源）。
我正在尝试以一种聪明的方式使用这个resource，以便我在运行任务之前acquire它，并在所有任务完成后立即release它。一般来说，昂贵的资源在管道的开始分配，依赖图的中途可以很好地释放。
有没有一种有效的方法在 Luigi 中对此进行建模，以实现资源的 aquire 和 release？
根据Aquire 和Release luigi.Tasks 对其进行建模并不是最优的，因为它给我的图表增加了很多复杂性和不必要的边。理想情况下，scheduler 会检查它的state，当没有更多需要资源的RUNNING 或PENDING 任务时，它可以release 它。
这是否已经存在，或者我必须自己将此功能添加到 Luigi？
【问题讨论】：
Luigi 支持资源的概念，即在任务被调度并运行时将占用它，然后在任务完成时释放。为什么需要更高级的方法。
来自doc：
此部分可以包含任意键。这些中的每一个都指定了调度程序可以允许工作人员使用的全局资源的数量。调度程序将防止运行具有指定资源的作业超过本节中的计数。假定未指定的资源具有限制 1。具有 2 个 hive 资源和 1 个 mysql 资源的配置的示例资源部分：
[resources]
hive: 2
mysql: 1
在您的情况下，您可以通过使用 aws : 1 来对此进行建模。然后，该资源一次只能使用一次。现在，如果您想要控制任务的安排方式，那么您可以尝试使用优先级。
然后您可以在任务中添加：
resources = {"aws": 1}
据我所知，没有办法直接获取资源，因为这是由任务执行控制的。
已更新（来自评论）：
例如，如果您想要执行某些事情（即清理），您可能需要为此使用事件处理程序。
@luigi.Task.event_handler(luigi.Event.FAILURE)
def handler_failure(self, exception):
# do cleanups
查看完整的documentation 了解更多信息。
【讨论】：