【问题标题】:How to make nextflow use tmp directory of specific node?如何让 nextflow 使用特定节点的 tmp 目录?
【发布时间】:2021-11-24 23:50:49
【问题描述】:

我必须并行运行多个 nextflow 管道,但是这样做会使 tmp/ 目录阻塞。明显的原因是,虽然有 30 个不同的节点可用于大型 tmp/ 目录,但 nextflow 只使用第一个,它很快就会被填充,因此会抛出“空间不足”错误。

我尝试的是从一个特定的计算节点运行每个 nextflow 管道,但是如何让它只使用这个特定节点的 tmp/?

【问题讨论】:

  • 我的回答涉及您标题中的问题。你的意思是你的工作在你的计算节点上填满/tmp?如果是这样,您需要识别正在执行此操作的进程,并确保它在 Nextflow 工作目录中本地写入临时文件。

标签: nodes hpc nextflow


【解决方案1】:

scratch 指令将允许您在执行节点本地的临时文件夹中执行一个或多个进程。如果你的临时目录是由$TMPDIR 环境变量定义的,你可以使用:

process myprocess {

  scratch true

  """
  <your script here>
  """
}

如果您的临时目录是由其他变量定义的,请确保它用单引号括起来:

process myprocess {

  scratch '$TEMP_DIR'

  """
  <your script here>
  """
}

【讨论】:

    猜你喜欢
    • 2016-06-14
    • 1970-01-01
    • 2017-09-12
    • 2021-11-16
    • 1970-01-01
    • 2012-02-16
    • 2015-03-14
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多