如何使用 xargs 在每个匹配项的命令替换中运行函数？

Question

在为字符串替换编写 Bash 函数时，我在使用 xargs 时遇到了一个奇怪的行为。这实际上让我发疯，因为我无法让它工作。 幸运的是，我已经能够将其归结为以下简单示例：

定义一个简单的函数，将给定参数的每个字符加倍：

function subs { echo $1 | sed -E "s/(.)/\1\1/g"; }

调用函数：

echo $(subs "ABC")

正如预期的那样，输出是：

AABBCC

现在使用 xargs 调用函数：

echo "ABC" | xargs -I % echo $(subs "%")

令人惊讶的是，现在的结果是：

ABCABC

似乎函数内的 sed 命令现在将整个字符串视为单个字符。 为什么会发生这种情况以及如何预防？

你可能会问，我为什么要使用 xargs。当然，这是一个简化的示例，实际用例要复杂得多。

在最初的用例中，我有一个产生大量输出的程序。我通过几个 grep 管道输出以获取感兴趣的行。之后，我将这些行通过管道传输到 sed 以从这些行中提取我需要的数据。因为我需要对数据进行的一些转换太复杂而无法单独使用正则表达式，所以我想为这些使用一个函数。所以，我最初的想法是简单地输入函数，但我无法让它工作并最终得到 xargs 解决方案。我最初的想法是这样的：

command | grep ... | grep ... | grep ... | sed ... | subs

顺便说一句：我不是从命令行执行此操作，而是从脚本中执行此操作。该函数在使用它的同一脚本中定义。

我使用的是 Bash 3.2（Mac OS X 默认），所以花哨的 Bash 4.x 对我没有帮助，抱歉。

我会很高兴所有可能对这个话题有所启发的事情。

最好的问候

弗兰克

Answer 1

这是因为 $(subs "%") 在解析管道时被 shell 扩展，所以 xargs 与 echo %% 一起运行。

Answer 2

如果您真的需要这样做（您可能不需要，但如果没有更具代表性的样本，我们将无法提供帮助），更好的实践方法可能如下所示：

subs() { sed -E "s/(.)/\1\1/g" <<<"$1"; }
export -f subs

echo "ABC" | xargs bash -c 'for arg; do subs "$arg"; done' _

• 使用echo "$(subs "$arg")" 而不仅仅是subs "$arg" 只会增加错误（考虑一下如果你的参数之一是-n 会发生什么——这是假设一个相对温和的echo；他们被允许消费反斜杠即使没有 -e 参数并做各种其他令人惊讶的事情）。你可以在上面做，但它会减慢你的程序并使它更容易出现令人惊讶的行为；没有意义。
• 运行export -f subs 将您的函数导出到环境，因此它可以由作为子进程调用的其他bash 实例运行（xargs 调用的所有程序都在您的shell 之外，因此它们看不到shell-local变量或函数）。

• 没有-I——也就是说，在它的默认操作模式下——xargs将参数附加到它给出的命令的末尾。这允许一种更有效的使用模式，它不是每行输入调用一个命令，而是将尽可能多的参数传递给尽可能少的子进程。

  这也避免了在将xargs -I 与bash -c '...' 或sh -c '...' 结合使用时可能发生的重大安全漏洞。 （如果您曾经使用过-I% sh -c '...%...'，那么您的文件名将成为您代码的一部分，并且能够用于对您的系统进行注入攻击）。