要实现的场景，认为 awk 最适合这种情况

Question

我有以下我需要的场景。

我有两个非常大的文件，其中的行数以千万计，而没有。每个文件中的行数相同。 我认为 awk 是一个有用的工具，我可以使用它加入两个文件，其中包含一些条件。请提出建议。

File1
# header1, header2, header3, header4
1,2,3,4
11,12,13,14
21,22,23,24
31,32,33,34
41,42,43,44

File2
a   d  e  f
a   f  g  h
b   p  q
33  b  p  q
43  b  x  y

Final Output
1, 2, 3, 4, a, d, e, f
11, 12, 13, 14, a, f, g, h
21, 22, 23, 24, b, p, q
31, 32, 33, 34, b, p, q
41, 42, 43, 44, b, x, y

file1、file2之间其实是有联系的。从file1的每一行收集很少的header，并基于一些小工具file2生成。所以对于file1中的每一行，file2的同一行中都有一些信息。 现在我想加入这两个文件，如下逻辑。

file2 的第一个条目包含 file1 的“a”、“b”或标题 3 基于此，如果它包含 'a' 或 'b' 则我们按“1、2、3、4、a、d、e、f”加入这些行

如果file2的入口有file1的header3，那么我们按“31,32,33,b,p,q”加入

所有字段都必须用逗号分隔。并且输出必须转储到其他文件中。

我也可以在 python 中做同样的事情，但是循环处理需要太多时间，因为文件太大，并且涉及到很多 python 解释时间。所以我认为 awk 会更好的实用程序做这样的任务。

请提出建议。谢谢。

Answer 1

基本思路应该是将行与paste 连接在一起，然后使用awk 更正重复的标题。

我假设file2 有制表符分隔的字段。试试这个管道：

grep -v '^#' file1.csv \
| tr ',' '\t' \
| paste - file2.tsv \
| awk -v OFS="," '
    $3==$5 { print $1,$2,$3,$4,$6,$7,$8; next } 
    { $1=$1; print }'

使用提供的示例数据，这会产生：

1,2,3,4,a,d,e,f
11,12,13,14,a,f,g,h
21,22,23,24,b,p,q
31,32,33,34,b,p,q
41,42,43,44,b,x,y

Answer 2

paste -d, <(tail -n+2 File1) <(awk -vOFS=, '
{
    $1 = ($1 !~ /^(a|b)$/) ? "" : $1
}1' File2) | tr -s ,

---

1,2,3,4,a,d,e,f
11,12,13,14,a,f,g,h
21,22,23,24,b,p,q
31,32,33,34,b,p,q
41,42,43,44,b,x,y

• paste <(commandA) 将两个进程的输出组合在一起；
• 我在 awk 命令中使用 cond ? YES : NO 而不是 if...else...;
• tr -s 会将,, 转换为,。