HTCondor Scatter Gather

Question

我正在开发一个项目，我需要将视频分辨率从 1080p 降低到 720p。这部分使用命令“ffmpeg -I inputVideo.mp4 -r 60 -s hd720 outputVideo.mp4”非常简单。

现在，想法是使用 HTCondor，所以每个 Resource 接收视频的一部分（Scatter），降低它的质量，然后返回它，所以最后所有部分都可以放在一起制作完整的 720p 视频（Gather）。问题是，每个节点都返回自己的段，所以我怎样才能使返回是总结视频。我想使用一个 .dag 文件，所以在执行之后，它会运行一个脚本来合并它们，但是，据我所知，documentation 在每个节点上运行，而不是在所有段都在的地方，这是客户，我猜。

所以我想问一下，您有什么建议可以合并输出的视频文件。

Answer 1

我认为你与 dagman 走在正确的轨道上。从文档中的钻石 dag 开始：

https://htcondor.readthedocs.io/en/stable/users-manual/dagman-applications.html#the-dag-input-file-basic-commands

但也许您需要超过 2 个节点来进行处理——散射。随着这些 HTCondor 作业中的每一个完成，输出将被发送回提交机器。您可以将所有这些发送到最终组装的 HTCondor 工作节点，或者，如果组装不是 CPU 密集型活动，只需在所有中间输出所在的提交机器上运行它。在 HTCondor 中，“本地宇宙”作业看起来就像一个普通作业，但在提交机器上运行。也许依赖于所有分散节点的最终节点可能是本地 Universe 作业。

在 dagman 的培训课程中，有一个使用 mandlebrot 集的类似图像处理示例。这个链接可能会给你一些好主意：

https://opensciencegrid.org/user-school-2019/#materials/day4/part4-ex1-simple-dag/