是否可以在 HTCondor 中检索 python 脚本的输出？答案

【问题标题】：Is it possible to retrieve the output of python scripts in HTCondor?是否可以在 HTCondor 中检索 python 脚本的输出？
【发布时间】：2018-12-27 20:52:17
【问题描述】：

我想在 HTCondor 管理的集群上运行一些返回一些字典的 python 脚本。我在另一个运行 MPI/Slurm 和 mpi4py 的集群上运行相同的程序，我能够在不保存文件的情况下收集输出并将它们传输到主节点。我无法理解如何在 HTCondor 中执行此操作（即使使用 python 包装器）。

是否可以在 HTCondor 中检索 python 脚本的输出？我需要使用schedd.retrieve("ClusterId == %d" % cluster) 命令吗？如果是这样，我们将不胜感激。

谢谢！

【问题讨论】：

只是尝试做同样的事情。你找到办法了吗？
最后我放弃了，保存中间文件后创建了DAG。

标签： python parallel-processing condor

【解决方案1】：

您可以在提交文件中指定要保存标准输出的文件（另请参阅Condor output file updating）。

您可以使用htcondor_tail 观看输出（不确定python api 中的等价物是什么）。

有点题外话：如果你运行 python，你也可以使用例如Dask 做你的远程 python 东西（另见Dask with HTCondor scheduler）

【讨论】：

正如你所建议的，我过渡到 dask-jobque 来处理 HTCondor 上的工作。它工作得非常好，并且可以更轻松地检索作业的输出。