如何有效地循环遍历 Bash 中的文件行？

Question

我有一个文件example.txt，大约有 3000 行，每行都有一个字符串。一个小文件的例子是：

>cat example.txt
saudifh
sometestPOIFJEJ
sometextASLKJND
saudifh
sometextASLKJND
IHFEW
foo
bar

我想检查这个文件中所有重复的行并输出它们。期望的输出是：

>checkRepetitions.sh
found two equal lines: index1=1 , index2=4 , value=saudifh
found two equal lines: index1=3 , index2=5 , value=sometextASLKJND

我做了一个脚本checkRepetions.sh：

#!bin/bash
size=$(cat example.txt | wc -l)
for i in $(seq 1 $size); do
i_next=$((i+1))
line1=$(cat example.txt | head -n$i | tail -n1)
for j in $(seq $i_next $size); do
line2=$(cat example.txt | head -n$j | tail -n1)
if [ "$line1" = "$line2" ]; then
echo "found two equal lines: index1=$i , index2=$j , value=$line1"
fi
done
done

但是这个脚本很慢，运行需要10多分钟。在 python 中，它需要不到 5 秒...我尝试通过执行 lines=$(cat example.txt) 和执行 line1=$(cat $lines | cut -d',' -f$i) 将文件存储在内存中，但这仍然很慢...

Answer 1

当你不想使用awk（工作的好工具，只解析一次输入）时， 您可以多次运行这些线路。排序很昂贵，但此解决方案避免了您尝试过的循环。

grep -Fnxf <(uniq -d <(sort example.txt)) example.txt

使用uniq -d <(sort example.txt)，您可以找到所有出现多次的行。接下来grep 将搜索这些（选项-f）完整的（-x）行，没有正则表达式（-F）并显示它出现的行（-n）。

Answer 2

为了演示一种相对有效的（在语言和运行时的限制内）native-bash 方法，您可以在https://ideone.com/iFpJr7 的在线解释器中看到它运行：

#!/bin/bash
case $BASH_VERSION in ''|[123].*) echo "ERROR: bash 4.0 required" >&2; exit 1;; esac

# initialize an associative array, mapping each string to the last line it was seen on
declare -A lines=( )
lineNum=0

while IFS= read -r line; do
  lineNum=$(( lineNum + 1 ))
  if [[ ${lines[$line]} ]]; then
     printf 'found two equal lines: index1=%s, index2=%s, value=%s\n' \
       "${lines[$line]}" "$lineNum" "$line"
  fi
  lines[$line]=$lineNum
done <example.txt

注意使用while read 逐行迭代，如BashFAQ #1 中所述：如何逐行（或逐字段）读取文件？时间>;这允许我们只打开文件一次并通读它，而不需要任何命令替换（分叉子shell）或外部命令（每次调用它们时都需要由操作系统单独启动，并且同样昂贵)。

这里改进的另一部分是我们只读取整个文件一次 - 实现 O(n) 算法 - 而不是像原始代码那样运行 O(n^2) 比较。

Answer 3

请参阅why-is-using-a-shell-loop-to-process-text-considered-bad-practice，了解您的脚本如此缓慢的一些原因。

$ cat tst.awk
{ val2hits[$0] = val2hits[$0] FS NR }
END {
    for (val in val2hits) {
        numHits = split(val2hits[val],hits)
        if ( numHits > 1 ) {
            printf "found %d equal lines:", numHits
            for ( hitNr=1; hitNr<=numHits; hitNr++ ) {
                printf " index%d=%d ,", hitNr, hits[hitNr]
            }
            print " value=" val
        }
    }
}

$ awk -f tst.awk file
found 2 equal lines: index1=1 , index2=4 , value=saudifh
found 2 equal lines: index1=3 , index2=5 , value=sometextASLKJND

---

为了让您了解使用编写得尽可能高效的 bash 脚本和等效的 awk 脚本的性能差异：

bash：

$ cat tst.sh
#!/bin/bash
case $BASH_VERSION in ''|[123].*) echo "ERROR: bash 4.0 required" >&2; exit 1;; esac

# initialize an associative array, mapping each string to the last line it was seen on
declare -A lines=( )
lineNum=0

while IFS= read -r line; do
  (( ++lineNum ))
  if [[ ${lines[$line]} ]]; then
     printf 'Content previously seen on line %s also seen on line %s: %s\n' \
       "${lines[$line]}" "$lineNum" "$line"
  fi
  lines[$line]=$lineNum
done < "$1"

$ time ./tst.sh file100k > ou.sh
real    0m15.631s
user    0m13.806s
sys     0m1.029s

awk：

$ cat tst.awk
lines[$0] {
    printf "Content previously seen on line %s also seen on line %s: %s\n", \
       lines[$0], NR, $0
}
{ lines[$0]=NR }

$ time awk -f tst.awk file100k > ou.awk
real    0m0.234s
user    0m0.218s
sys     0m0.016s

两个脚本的输出没有区别：

$ diff ou.sh ou.awk
$

以上是使用第 3 次运行时间来避免缓存问题并针对由以下 awk 脚本生成的文件进行测试：

awk 'BEGIN{for (i=1; i<=10000; i++) for (j=1; j<=10; j++) print j}' > file100k

当输入文件的重复行为零（由seq 100000 > nodups100k 生成）时，bash 脚本的执行时间与上面大致相同，而 awk 脚本的执行速度比上面快得多：

$ time ./tst.sh nodups100k > ou.sh
real    0m15.179s
user    0m13.322s
sys     0m1.278s

$ time awk -f tst.awk nodups100k > ou.awk
real    0m0.078s
user    0m0.046s
sys     0m0.015s