Bash - 根据列在行中添加值

Question

我的 csv 文件中的第二列有重复项。我想根据这些重复项添加第 1 列中的关联值。

示例 csv：

56,  cc=DK
49,  cc=US
34,  cc=GB
32,  cc=DE
32,  cc=NZ
31,  cc=DK
31,  cc=GB
31,  cc=GB

示例结果：

96,  cc=GB # where 96 = 34+31+31
87,  cc=DK # where 87 = 56+31
32,  cc=DE
32,  cc=NZ

Answer 1

你可以在awk中使用关联数组：

awk '{s[$2]+=$1}END{for(k in s)print s[k]", ",k}' inFile

为了可读性而扩展它，并使用sum/key而不是s/k：

{                                 # Do for each line.
    sum[$2] += $1                 # Add first field to accumulator,
                                  #   indexed by second field.
                                  #   initial value is zero.
}
END {                             # Do this bit when whole file processed.
    for (key in sum)              # For each key like cc=US:
        print sum[key] ", " key   # Output the sum and key.
}

这是在我的盒子上运行的示例：

pax$ echo;echo '56,  cc=DK
49,  cc=US
34,  cc=GB
32,  cc=DE
32,  cc=NZ
31,  cc=DK
31,  cc=GB
31,  cc=GB' | awk '{s[$2]+=$1}END{for(k in s)print s[k]", "k}'

32, cc=DE
96, cc=GB
32, cc=NZ
49, cc=US
87, cc=DK

尽管第一列的形式是999,（注意末尾的逗号），这仍然有效，因为awk 在数字上下文中评估字符串时，仅使用在那个上下文。因此45xyzzy 将变为45，更重要的是，49, 变为49。

Answer 2

Perl 解决方案：

perl -ane '$h{ $F[1] } += $F[0] }{ print "$h{$_}\t$_\n" for keys %h' input.csv

解释：

• -n逐行处理输入
• -a 将空格上的输入行拆分为 @F 数组中的字段
• 哈希表 %h 记录每个键的总和（2^nd 列）。它只是将第一列的值添加到其中。
• }{（称为“爱斯基摩人问候语”）将每行 (-n) 执行的内容与处理整个输入后要运行的代码分开

Answer 3

这样简单的任务可以使用awk，但是如果您有一堆类似的任务并且您将来可能需要更改它，那么很容易搞砸。

由于这是典型的数据库问题，请考虑使用sqlite。

你可以：

1. 添加行名并删除多余的空格：

   $ cat <(echo "num, name") originalInput.txt | tr -d ' ' > input.csv
   

2. 将数据导入临时sqlite db：

   $ sqlite3 --batch temp.db <<EOF!
   .mode csv
   .import input.csv input
   EOF!
   

3. 从数据库中选择：

   $sqlite3 temp.db 'SELECT sum(num), name FROM input GROUP BY name'
   32|cc=DE
   87|cc=DK
   96|cc=GB
   32|cc=NZ
   49|cc=US
   

它的代码稍微多一点，并使用外部sqlite3 命令，但它明显不易出错且更灵活。您可以轻松加入多个 csv 文件、使用精美的排序等等。

另外，想象一下自己在六个月后查看代码，试图快速理解它的作用。