在 HTCondor 中检索创建的输出文件

Question

我正在使用 HTCondor 运行一项需要大量时间（数十小时）并定期生成文件（数十分钟）的作业。我希望 HTCondor 在文件创建后立即将文件传输到我的提交目录。我怎样才能做到这一点？

秃鹰有什么原生选项可以让我这样做吗？ 有其他方法吗？

我也可以尝试scp 或mv 创建文件，但我不知道如何手动将文件从 condor 传输到我的个人空间

Answer 1

condor_tail 命令可以从提交端执行此操作，或者 condor_chirp 命令可以从作业本身执行此操作。

例如，如果您正在登录提交机器（很可能是您提交作业的同一台机器），并且您对仍在运行的作业的任何输出文件的状态感到好奇，您可以通过运行查看文件的最后 1024 字节

$ condor_tail <the_job_id> the_file_name

要查看超过 1024 个字节，您可以运行

$ condor_tail <the_job_id> -maxbytes some_number_more_than_1024 the_file_name

或者，如果您在 Linux 上，并且您的系统管理员允许您，您也许可以运行

$ condor_ssh_to_job <the_job_id>

它为您提供了一个登录 shell 到正在运行作业的机器上，位于作业的暂存目录中，其中包含了 condor 所能提供的尽可能多的作业环境。

最后，如果作业本身可以运行命令，例如在每个完成的步骤之后定期运行，并且作业已使用提交文件选项启用 remoteio

+WantRemoteIO = true

作业可以运行

$ condor_chirp put local_file_name file_name_on_submit_machine

并且作业中的文件名 local_file_name 将被复制到提交机器到作业开始的目录中。