GNU parallel 是xargs 的变体。它们都有非常相似的界面,如果您在parallel 上寻求帮助,您可能会更幸运地查找有关xargs 的信息。
话虽如此,它们的操作方式都相当简单。使用它们的默认行为,两个程序都从 STDIN 读取输入,然后根据空格将输入分解为标记。然后将这些标记中的每一个作为参数传递给提供的程序。 xargs 的默认设置是将尽可能多的令牌传递给程序,然后在达到限制时启动一个新进程。我不确定并行的默认设置是如何工作的。
这是一个例子:
> echo "foo bar \
baz" | xargs echo
foo bar baz
默认行为存在一些问题,因此通常会看到几种变化。
第一个问题是因为空格是用来分词的,任何有空格的文件都会导致parallel和xargs中断。一种解决方案是改为围绕 NULL 字符进行标记。 find 甚至提供了一个选项让这件事变得简单:
> echo "Success!" > bad\ filename
> find . "bad\ filename" -print0 | xargs -0 cat
Success!
-print0 选项告诉find 使用 NULL 字符而不是空格分隔文件。
-0 选项告诉 xargs 使用 NULL 字符来标记每个参数。
请注意,parallel 比 xargs 稍微好一点,因为它的默认行为是仅围绕换行符进行标记化,因此不需要更改默认行为。
另一个常见问题是您可能想要控制如何将参数传递给xargs 或parallel。如果您需要将参数传递给程序的特定位置,您可以使用{} 指定参数的放置位置。
> mkdir new_dir
> find -name *.xml | xargs mv {} new_dir
这会将当前目录和子目录中的所有文件移动到 new_dir 目录中。它实际上分为以下几部分:
> find -name *.xml | xargs echo mv {} new_dir
> mv foo.xml new_dir
> mv bar.xml new_dir
> mv baz.xml new_dir
考虑到xargs 和parallel 的工作方式,您应该希望能够看到您的命令存在的问题。 find . -name '*.xml' 将生成要传递给script.sh 程序的 xml 文件列表。
> find . -name '*.xml' | parallel -j2 echo script.sh {}
> script.sh foo.xml
> script.sh bar.xml
> script.sh baz.xml
但是,ls | parallel -j2 script.sh {} 将生成当前目录中所有文件的列表以传递给 script.sh 程序。
> ls | parallel -j2 echo script.sh {}
> script.sh some_directory
> script.sh some_file
> script.sh foo.xml
> ...
ls 版本上更正确的变体如下:
> ls *.xml | parallel -j2 script.sh {}
然而,这个版本和 find 版本的重要区别在于 find 将在所有子目录中搜索文件,而 ls 只会搜索当前目录。上述ls 命令的等效find 版本如下:
> find -maxdepth 1 -name '*.xml'
这只会搜索当前目录。