多核并行计算，用于与程序独立运行的数据

Question

我有一个 fortran 模拟程序，它从 .dat 获取输入。这个文件有 100.000 行，需要很长时间才能运行。该程序采用第一行，运行所有模拟并将结果写入 .out 并传递到下一行。我有一台 16 个 cpu 的计算机，那么我该如何将我的数据分成 16 个部分并在每个 cpu 中分别运行呢？我正在使用 ubuntu 的机器上运行。每一行都完全独立于另一行。 例如我的数据是 HeadData10000.dat，那么我有一个文件 Simulation.ini，在这种情况下输入数据的名称为：HeadData10000.dat，输出数据的名称。所以文件 Simulation.ini 会是这样的

HeadData10000.dat
outputdata.out

然后现在我有两台计算机，所以我将 HeadData10000.dat 分成两个文件，然后为每个输入数据执行两个 Simulation.ini，然后在每台计算机上像这样运行它：./simulation.exe<.>

Answer 1

假设您的 100,000 个工作列表名为 "jobs.txt"，如下所示：

JobA
JobB
JobC
JobD

你可以运行这个：

parallel 'printf "{}\n{.}.out" | ./simulation.exe' < jobs.txt 

如果您想进行试运行，看看不做任何事情会做什么：

parallel --dry-run 'printf "{}\n{.}.out" | ./simulation.exe' < jobs.txt 

样本输出

printf "JobA\nJobA.out" | ./simulation.exe
printf "JobB\nJobB.out" | ./simulation.exe
printf "JobC\nJobC.out" | ./simulation.exe
printf "JobD\nJobD.out" | ./simulation.exe

如果您有多个服务器可用，请考虑使用 GNU Parallel 的 -S 参数将作业分散到机器上。另外，查看--eta 和--bar 参数以获取进度报告。

我使用printf "line1 \n line2" 生成两行输入，以避免创建和删除 100,000 个文件。

默认情况下，GNU Parallel 将保持每个 CPU 内核运行 1 个作业，因此在您的 16 核计算机上将始终运行 16 个作业，但您可以将其更改为 8 个，例如你想用parallel -j 8。您还可以指定在您的第二台（及后续）机器上运行的作业数量。