如何根据第一列 awk 拆分文件

Question

我举例说明我需要做什么：

输入：

name value1 value2 value3
john xxxxx yyyyy qqqqqq
john xxxxx ddddd vvvvvv
john mmmmm jjjjj llllll
paul xxxxx yyyyy qqqqqq
paul ccccc ccccc dddddd

我需要保留标题并根据第一列中的 same 名称拆分为文件。 我需要根据第一列继续命名我的输出文件。

输出：

FILE1：john.tsv

name value1 value2 value3
john xxxxx yyyyy qqqqqq
john xxxxx ddddd vvvvvv
john mmmmm jjjjj llllll

FILE2：paul.tsv

name value1 value2 value3
paul xxxxx yyyyy qqqqqq
paul ccccc ccccc dddddd

INPUT 和 OUTPUT 文件是制表符分开的。标题始终相同。

我的解决方案很复杂很慢：

head -1 INPUT > header

awk 'NR>1{print $1}' | sort | uniq > names

while read line

 do grep $line INPUT | cat header - > $line.tsv

< names

done

Answer 1

使用awk，我们可以写出类似的东西，

$ awk 'NR == 1{header = $0; next} 
    !($1 in filename){ print header > ($1".tsv") } 
    NR > 1 { print $0 > ($1".tsv"); filename[$1] }' file

它有什么作用？

• NR == 1{header = $0}如果读取的记录数是1，这是header，保存在header中以备后用。

• NR > 1 { print $0 > ($1".tsv"); filename[$1] }如果我们已经读取了多条记录，则将该行的内容打印到文件名$1，即第一列。

  • filename[$1] 我们将文件名保存在由文件名索引的关联数组中。该数组用于打印标题。

• ($1 in filename){ print header > ($1".tsv") } 如果我们在filename 数组中找不到当前文件名，则它是第一次出现。所以我们将标题打印到文件中。

---

编辑

如果你想对第二列的文件进行排序，那么我们可以先排序，然后通过管道将它们传递给awklike，

$ sort -n -k2 file | awk ....

• -n 数字排序。
• -k2 按第二个键排序。

如果标题也是数字，这可能不起作用。

Answer 2

到目前为止发布的所有答案都存在使它们变得脆弱和/或不可移植的问题（例如，使用 getline 而不检查其结果、输出重定向右侧未加括号、使用 gawk 特定功能以及不关闭每个输出文件完成后）和/或不必要的复杂。

在保留标题的同时按前 2 列对输入文件进行排序：

$ awk -v OFS='\t' '{print (NR>1), $0}' file | sort | cut -f2-
name value1 value2 value3
john mmmmm jjjjj llllll
john xxxxx ddddd vvvvvv
john xxxxx yyyyy qqqqqq
paul ccccc ccccc dddddd
paul xxxxx yyyyy qqqqqq

并且要健壮、便携、高效地打印您的输入，包括标题行，以根据第一列命名的单独文件是：

$ cat tst.awk
NR==1 { hdr=$0; next }
$1 != prev {
    close(out)
    out = $1 ".tsv"
    print hdr > out
    prev = $1
}
{ print > out }

所以把它们放在一起就是：

awk -v OFS='\t' '{print (NR>1), $0}' file | sort | cut -f2- | awk -f tst.awk

Answer 3

类似于@nu11p01n73R 的回答，在脚本中添加了数据部分的排序

$ awk 'NR==1{h=$0; next}
    !p[$1]++{print h > $1} 
            {print | "sort -k2 >> " $1}' file

$ head paul john

==> paul <==
name value1 value2 value3
paul ccccc ccccc dddddd
paul xxxxx yyyyy qqqqqq

==> john <==
name value1 value2 value3
john mmmmm jjjjj llllll
john xxxxx ddddd vvvvvv
john xxxxx yyyyy qqqqqq