如何将流存储在变量中？

Question

这是我的脚本：

for country in AT DE GB IT NO ZA
do
    info1=$(cat /path/to/big.log* | grep $country | wc -l)
    info2=$(cat /path/to/other-big.log* | grep $country | wc -l)
    echo $country $info1 $info2
done

这行得通，但真的很慢......

我已经尝试过这个脚本，而是将文件读取置于循环之外：

data1=$(cat /path/to/big.log*)
data2=$(cat /path/to/other-big.log*)
for country in AT DE GB IT NO ZA
do
    info1=$(echo $data1 | grep $country | wc -l)
    info2=$(echo $data2 | grep $country | wc -l)
    echo $country $info1 $info2
done

但现在脚本不起作用。我错过了什么？

Answer 1

将整个文件内容存储到变量中并不是一个好主意。你可以试试这个bash 脚本，

for country in AT DE GB IT NO ZA
do
    info1=$(grep $country /path/to/big.log* | wc -l)
    info2=$(grep $country /path/to/other-big.log* | wc -l)
    echo $country $info1 $info2
done

我刚刚移除了不需要的管道。

Answer 2

您在脚本中不必要地使用了cat 和wc。

用grep -c试试这个脚本：

for country in AT DE GB IT NO ZA
do
    info1=$(grep -c "$country" /path/to/big.log*)
    info2=$(grep -c "$country" /path/to/other-big.log*)
    echo "$country $info1 $info2"
done

Answer 3

cat /tmp/file1 /tmp/file2 | for country in AT DE GB IT NO ZA; do
    printf "%s " "$country"
    grep -c "$country"
done

由于您有多个文件，我认为这是获得所需输出的最快方法。如果我错了，请有人纠正我。

Answer 4

您的基本方法是错误的，因为您要完整地遍历每个国家/地区的每组文件，而不是一次计算每个国家/地区。这是一个bash 4 脚本，但可以用其他更快的语言实现。

# Untested; consider this a description of the algorithm rather than
# ready-to-run code.
declare -A counts1=()
declare -A counts2=()
# Store per-country counts in an associative array for the first set of files
# E.g. counts[AT]=28, counts[DE]=93, etc.
for f in /path/to/big.log*; do
  while read line; do
    [[ $line =~ (AT|DE|GB|IT|NO|ZA) ]] && (( $counts1[${BASH_REMATCH[0]}]++ ))
  done  < $f
done
# Do the same for the second set of files
for f in /path/to/other-big.log*; do
  while read line; do
    [[ $line =~ (AT|DE|GB|IT|NO|ZA) ]] && (( $counts2[${BASH_REMATCH[0]}]++ ))
  done  < $f
done

# Output the results
for cc in AT DE GB IT NO ZA; do
    printf "%s %d %d\n"  $cc ${counts1[$cc]} ${counts2[$cc]}
done