将文件行读入 xargs 以实现并行 python 脚本

Question

我正在尝试通过使用文件的行作为 python 脚本的参数来并行执行 python 脚本。该文件名为experiments.txt，可能如下所示：

--x_timesteps 3 --y_timesteps 3 --exp_path ./logs
--x_timesteps 4 --y_timesteps 3 --exp_path ./logs
--x_timesteps 5 --y_timesteps 3 --exp_path ./logs
--x_timesteps 6 --y_timesteps 3 --exp_path ./logs

我想通过使用 xargs 来加快处理速度；但是，我不知道如何使用文件输入来做到这一点。 如何通过从文件中逐行读取并通过管道传输到 xargs 来并行化 python 脚本？

我知道我可以通过一个简单的 for 循环来解决这个问题；但是，我需要知道如何处理文件输入。

在相应目录的命令行中输入此内容，

for x in {3..6}; \
do printf '%s\0' "--x_timesteps=${x}" "--y_timesteps=3" "--exp_path=./logs"; \
done | xargs -0 -n 3 -P 8 python script.py

for-loop风格的并行化源于"Using xargs for parallel Python scripts"的答案

Answer 1

恕我直言，使用 GNU Parallel 更简单、更可控：

parallel --dry-run --colsep ' ' python script.py :::: experiments.txt

您可以简单地添加或删除--dry-run 进行调试。您可以添加--eta 或--bar 以获取进度报告。您可以跨多个主机分配任务。您可以轻松地进行失败/重试处理。您可以从参数中提取基本名称、文件名、目录名称。您可以对参数进行排列。以此类推。