将文件中的值相乘和求和

Question

我们有一个文件 - input.txt - 5 行 9 列的矩阵（实际文件是 10K+ 行和 40K+ 列）：

Col1    Col2    Col3    Col4    Col5    Col6    Col7    Col8    Col9
0.8 1   0.8 0.6 0.9 0.4 0.3 0.1 0.6
1   0.6 0.5 0.6 0.3 0.1 0.2 0.5 0.2
0.4 0.5 0.1 0.7 0.8 0.8 0.6 0.3 0.3
0.9 0.2 1   0.1 0.9 0.8 0.6 0.9 0.2
0.9 1   0.2 0.5 0.5 0.7 0.5 0.3 0.2

注意 1： 文件没有标题 - 将其保留在此处以供参考。
注意 2： 解决方案必须扩展到具有 40K+ 列的真实数据。注意 3： 添加了 python 和 perl 标签，以性能更好者为准。

需要将其转换为以下output.txt - 矩阵5rows 3cols：

Col1    Col2    Col3
2.6 1.7 1.3
1.6 0.5 0.9
0.7 2.4 0.9
2.2 2.5 1.3
1.4 1.9 0.7

逻辑：

Output_Col1 = (Input_Col2) + (Input_Col3*2)
Output_Col2 = (Input_Col5) + (Input_Col6*2)
Output_Col3 = (Input_Col8) + (Input_Col9*2)

努力，尝试将第二列和第三列的矩阵文件作为单独的文件，如果我可以将第二个文件乘以 2 然后将这两个文件相加...可能有更简单的方法。

ncol=9
cut -d" " -f`seq -s "," 2 3 $ncol` input.txt > col2s.txt
cut -d" " -f`seq -s "," 3 3 $ncol` input.txt > col3s.txt

Answer 1

Awk

awk '{print ($2+($3*2)),($5+($6*2)),($8+($9*2))}'

在第一条记录上，打印前三个字段。 然后从字面上打印出您要求的方程式

可扩展版本

awk '{for(i=2;i<=NF;i+=3)x=(x?x FS:"")($i+($(i+1)*2));print x;x=y}' file

输出：

2.6 1.7 1.3
1.6 0.5 0.9
0.7 2.4 0.9
2.2 2.5 1.3
1.4 1.9 0.7

Answer 2

Perl 的救援：

perl -lane 'print join "\t", $F[1] + $F[2] * 2, $F[4] + $F[5] * 2, $F[7] + $F[8] * 2' input.txt > output.txt

解释：

• -l 在每个 print 之后添加换行符
• -a 将每一行拆分为 @F 数组
• -n 逐行读取输入并运行每个代码

如果您有更多相邻的列要处理，您可以使用较短的符号：

print join "\t", map $F[$_] + $F[$_ + 1] * 2, 1, 4, 7

（将1, 4, 7 替换为左列的实际列表）。

Answer 3

鉴于您的文件的大小，我的偏好是使用 Python、Perl 或什至 C/C++ 等编译语言中的特定程序来处理它。这可能比 shell 脚本快得多，并且具有更好的错误处理能力。

使用 shell 你可能会使用类似的东西：

# Outer loop deal with each line in the file.
cat my_file | while read line
do
    # Inner loop. Deal with each calculation on the line.
    while [[ ${line} ]]
    do
        echo ${line} | cut -d' ' -f1-3  | nawk '{printf("%d\t",$2+($3*2))}'
        line=$(echo ${line} | cut -s -d' ' -f4-)
    done
    printf "\n"
done

Answer 4

使用 bc 和循环：

（编辑：摆脱 UUOC）

while read c1 c2 c3 c4 c5 c6 c7 c8 c9 c_others; do
        out1=$(echo $c2 + $c3 \* 2 | bc)
        out2=$(echo $c5 + $c6 \* 2 | bc)
        out3=$(echo $c8 + $c9 \* 2 | bc)
        echo ${out1} ${out2} ${out3}
done < input.txt

结果：

2.6 1.7 1.3
1.6 .5 .9
.7 2.4 .9
2.2 2.5 1.3
1.4 1.9 .7

当你希望浮点数

| sed -e 's/ \./ 0./g' -e 's/^\./0./'

恐怕额外的 sed 解析会使这成为最慢的解决方案。