使用 |tee 时将值保存在 BASH shell 变量中

Question

我正在尝试计算一个非常大的文件中的行匹配数，并仅使用 BASH shell 命令将它们存储在变量中。

目前，我正在扫描一个非常大的文件的结果两次，并且每次都使用单独的 grep 语句，如下所示：

$ cat test.txt 
first example line one
first example line two
first example line three
second example line one
second example line two
$ FIRST=$( cat test.txt | grep 'first example'  | wc --lines ; ) ;  ## first run
$ SECOND=$(cat test.txt | grep 'second example' | wc --lines ; ) ;  ## second run

我最终得到了这个：

$ echo $FIRST
3
$ echo $SECOND
2

希望，我只想扫描一次大文件。而且我从来没有使用过 Awk 并且宁愿不使用它！

|tee 选项对我来说是新的。似乎将结果传递给两个单独的 grep 语句可能意味着我们只需要扫描一次大文件。

理想情况下，我也希望能够做到这一点，而不必创建任何临时文件，并且随后必须记住删除它们。

我尝试了多种方法，如下所示：

FIRST=''; SECOND='';
cat  test.txt                                                   \
    |tee  >(FIRST=$( grep 'first example'  | wc --lines ;);)    \
          >(SECOND=$(grep 'second example' | wc --lines ;);)    \
          >/dev/null        ;

并使用read:

FIRST=''; SECOND='';
cat  test.txt                                                       \
   |tee  >(grep 'first example'   | wc --lines | (read FIRST);  );  \
         >(grep 'second example'  | wc --lines | (read SECOND); );  \
         > /dev/null                   ;



cat  test.txt                                                           \
      | tee  <( read FIRST  < <(grep 'first example'  | wc --lines ))   \
             <( read SECOND < <(grep 'sedond example' | wc --lines ))   \
             >    /dev/null             ;

并带有大括号：

FIRST=''; SECOND='';
cat test.txt                                                     \
  |tee   >(FIRST={$( grep 'first example'  | wc --lines ;)} )    \
         >(SECOND={$(grep 'second example' | wc --lines ;)} )    \
         >/dev/null                           ;
   

但这些都不允许我将行数保存到变量 FIRST 和 SECOND 中。 p>

这有可能吗？

Answer 1

tee 没有保存任何工作。每个grep 仍将对文件进行全面扫描。无论哪种方式，您都通过了三个文件：两个greps 和一个Useless Use of Cat。事实上tee 实际上只是添加了第四个循环整个文件的程序。

由于一个致命缺陷：variable assignments don't work in pipelines，您尝试的各种 | tee 调用都不起作用。也就是说，它们在为变量赋值的情况下“工作”，只是该值几乎立即丢失。为什么？因为变量在子shell中，而不是在父shell中。

| 管道中的每个命令都在不同的进程中执行，这是 Linux 系统的一个基本事实，即进程彼此隔离并且不共享变量分配。

根据经验，您可以写variable=$(foo | bar | baz)，其中变量位于外部。没问题。但是不要尝试foo | variable=$(bar) | baz 它在里面的地方。它不会起作用，你会很难过。

但不要失去希望！有很多方法可以给这只猫剥皮。让我们来看看其中的几个。

两个grep

摆脱cat 产生：

first=$(grep 'first example' test.txt | wc -l)
second=$(grep 'second example' test.txt | wc -l)

这实际上非常好，通常会足够快。 Linux 在 RAM 中维护一个大的页面缓存。每当您读取文件时，Linux 都会将内容存储在内存中。多次读取文件通常会命中缓存而不是磁盘，这非常快。即使是多 GB 文件也可以轻松放入现代计算机的 RAM 中，尤其是当您在缓存页面仍然新鲜的情况下进行背靠背读取时。

一个 grep

您可以通过使用搜索两个字符串的单个 grep 调用来改进这一点。如果您实际上不需要单个计数而只需要总数，它可能会起作用：

total=$(grep -e 'first example' -e 'second example' test.txt | wc -l)

或者如果匹配的行很少，您可以使用它将大文件过滤成一小组匹配行，然后使用原始 grep 提取单独的计数：

matches=$(grep -e 'first example' -e 'second example' test.txt)
first=$(grep 'first example' <<< "$matches" | wc -l)
second=$(grep 'second example' <<< "$matches" | wc -l)

纯 bash

您还可以构建一个仅使用 Bash 的解决方案，该解决方案只执行一次传递并且不调用外部程序。分叉进程很慢，因此仅使用 read 和 [[ 等内置命令可以提供很好的加速。

首先，让我们从while read loop开始逐行处理文件：

while IFS= read -r line; do
   ...
done < test.txt

您可以使用双方括号[[ 和字符串相等== 来计算匹配项，它接受* 通配符：

first=0
second=0

while IFS= read -r line; do
    [[ $line == *'first example'* ]] && ((++first))
    [[ $line == *'second example'* ]] && ((++second))
done < test.txt

echo "$first"   ## should display 3
echo "$second"  ## should display 2

另一种语言

如果这些都不够快，那么您应该考虑使用“真正的”编程语言，例如 Python、Perl，或者，真的，任何您喜欢的语言。 Bash 不是速度恶魔。我喜欢它，它确实被低估了，但即使我承认高性能数据处理是not its wheelhouse。

Answer 2

如果你打算做这样的事情，我真的建议你熟悉awk；这并不可怕，而且 IMO 与您正在查看的怪异管道配件相比，用它来做这样的复杂事情要容易得多。这是一个简单的awk 程序，可以同时计算两种模式的出现次数：

awk '/first example/ {first++}; /second example/ {second++}; END {print first, second}' test.txt

解释：/first example/ {first++} 表示对于匹配正则表达式模式“第一个示例”的每一行，增加 first 变量。 /second example/ {second++} 对第二种模式执行相同的操作。然后END {print first second} 表示最后应该打印两个变量。很简单。

但是有一件棘手的事情：将它打印的两个数字分成两个不同的变量。你可以用read来做到这一点：

bothcounts=$(awk '/first example/ {first++}; /second example/ {second++}; END {print first, second}' test.txt)
read first second <<<"$bothcounts"

（注意：我建议使用小写或混合大小写的变量名，以避免与许多具有特殊功能的全大写名称冲突。）

另一种选择是跳过bothcounts 变量，方法是使用进程替换将awk 的输出直接馈送到read：

read first second < <(awk '/first example/ {first++}; /second example/ {second++}; END {print first, second}' test.txt)

Answer 3

">" 是关于重定向到文件/设备，而不是管道中的下一个命令。所以 tee 只会允许你将管道重定向到多个文件，而不是多个命令。 所以试试这个：

FIRST=$(grep 'first example' test.txt| wc --lines)
SECOND=$(grep 'second example' test.txt| wc --lines)

Answer 4

可以在单次传递中获取匹配项并对其进行计数，然后从结果中获取每个匹配项的计数。

matches="$(grep -e 'first example' -e 'second example' --only-matching test.txt | sort | uniq -c | tr -s ' ')"

FIRST=$(grep -e 'first example' <<<"$matches" | cut -d ' ' -f 2)
echo $FIRST

结果：

3

使用awk 是我认为的最佳选择。