ForkManager (Perl) 在子作业准备好之前退出父作业

Question

我有以下 perl 代码：

use Parallel::ForkManager;
  my $maxpro = 15;
  my $pm = Parallel::ForkManager->new($maxpro);
my $SampId;
my $SampDir;
my $RunId;
my $Runfile;
my %hash;
 foreach $RunId(keys(%hash)) {
 $pm->start and next;
 $SampId = $hash{$RunId};
 $Runfile = $rundir . $RunId . "fastq";

 if ($SampId =~ m/16S/) {
     $SampDir = $SiXSSdir . $SampId . "_Split/"; 
 }
 elsif ($SampId =~ m/ITS/) {
     $SampDir = $ITSdir . $SampId . "_Split/";
 }
 #make a directory for each file
 my $dirouteach = $outdir . $SampId . "Single_directory.out";
 my $dirm4 = "bsub -o $dirouteach mkdir $SampDir";

 system('bash', '-c', "$dirm4") == 0 or die "Can't create each single subdirectories for either 16S or ITS, or both, see line 114" . "\n";
$pm ->finish;
}

$pm -> wait_all_children();

但是，当我这样运行时，所有子项目都在运行，但主脚本过早退出，甚至在子项目完成之前，它也没有给出任何错误消息。我还尝试运行它删除$pm ->finish;，但在这种情况下，脚本被卡住并永远等待，直到孩子们完成。 我确定我在使用 fork manager（我以前从未使用过）时做错了。我的目标只是用它来并行化我的工作，然后等到所有工作都完成，然后在我的脚本中继续前进。 任何帮助将不胜感激，谢谢！

Answer 1

bsub 已经是并行计算框架的一部分。 bsub 命令本身运行很快；它只是将作业提交给作业调度程序并退出。它不应该等待它安排的作业完成，因此您的所有子进程都应该快速完成，并且主程序也将快速退出。

如果你想自己控制并行处理，你应该在没有bsub的情况下执行每个命令。如果您使用的是bsub，那么您不需要自己进行分叉或使用像Parallel::ForkManager 这样的后台进程管理器。

Answer 2

我没有调试 Parallel::ForkManager 的想法，但这里有一个使用 IO::Async 的示例，它更灵活一些，同时类似地为原始 fork 和 waitpid 提供了一个很好的包装器。

use strict;
use warnings;
use IO::Async::Loop;
use Future;

my $loop = IO::Async::Loop->new;
my @futures;
my %hash;
... # populate %hash
foreach my $RunId (keys %hash) {
  my $dirm4;
  ... # build $dirm4
  my $future = $loop->new_future;
  my $process = $loop->open_process(
    command => ['bash', '-c', $dirm4],
    on_finish => sub { $future->done(@_) },
    on_exception => sub { $future->fail(@_) },
  );
  push @futures, $future;
}

# run event loop until all the futures are done, or throw an exception if one fails to start the command
my @exit_codes = Future->needs_all(@futures)->get;

如果不想一次启动，也可以使用Future::Utils实现队列，我最近在this answer写了一个例子。