使用 awk 和 bash 用行号拆分逗号分隔列表

Question

我有一个（非常大的）csv 文件，格式如下：

id;surname;firstname;aliases
1;Simpson;Homer;Homer Jay Simpson,Homer J. Simpson
2;Simpson;Bart;Bartholomew JoJo Simpson,Bartholomew Simpson
3;Krusty the Clown;;Herschel Shmoikel Pinchas Yerucham Krustofsky
4;Simpson;Lisa;

现在我想将其转换为以下格式：

id;name
1;Homer Simpson
1_1;Homer Jay Simpson
1_2;Homer J. Simpson
2;Bart Simpson
2_1;Bartholomew JoJo Simpson
2_2;Bartholomew Simpson
3;Krusty the Clown
3_1;Herschel Shmoikel Pinchas Yerucham Krustofsky
4;Lisa Simpson

出于性能原因，我想使用 awk 或其他 UNIX 命令行工具来实现。

使用awk -F ';' '{print $1, $3, $2}' 我可以分隔分号分隔的行。但是如何在awk 中使用awk 再次拆分逗号分隔的条目？

Answer 1

$ cat tst.awk
BEGIN { FS=OFS=";" }
NR==1 {
    print $1, "name"
    next
}
{
    name = $3 " " $2
    gsub(/^ +| +$/,"",name)
    print $1, name
    n = split($NF,aliases,/,/)
    for (i=1; i<=n; i++) {
        print $1 "_" i, aliases[i]
    }
}

$ awk -f tst.awk file
id;name
1;Homer Simpson
1_1;Homer Jay Simpson
1_2;Homer J. Simpson
2;Bart Simpson
2_1;Bartholomew JoJo Simpson
2_2;Bartholomew Simpson
3;Krusty the Clown
3_1;Herschel Shmoikel Pinchas Yerucham Krustofsky
4;Lisa Simpson

Answer 2

您能否尝试以下操作（使用所示示例编写和测试）。

awk '
BEGIN{
  FS="[;,]"
  OFS=";"
  print "id;name"
}
FNR>1{
  j=$2~/ /?2:3
  for(i=j;i<=NF;i++){
    if($i==""){
      continue
    }
    if(i==j){
      print $1,$3" "$2
    }
    else{
      print $1"_"++c,$i
    }
  }
  c=""
}' Input_file

输出如下。

id;name
1;Homer Simpson
1_1;Homer Jay Simpson
1_2;Homer J. Simpson
2;Bart Simpson
2_1;Bartholomew JoJo Simpson
2_2;Bartholomew Simpson
3; Krusty the Clown
3_1;Herschel Shmoikel Pinchas Yerucham Krustofsky
4;Lisa Simpson

说明：在此添加上述代码的详细说明。

awk '                        ##Starting awk program from here.
BEGIN{                       ##Starting BEGIN section from here.
  FS="[;,]"                  ##Setting field as either semi-colon OR comma for all lines.
  OFS=";"                    ##Setting output field separator semi-colon.
  print "id;name"            ##Printing id;name string before reading Input_file.
}                            ##Closing BLOCK for BEGIN block of this awk program here.
FNR>1{                       ##Checking condition if FNR>1 then do following.
  j=$2~/ /?2:3
  for(i=j;i<=NF;i++){        ##Running a for loop from i=j to till number of fields of line.
    if($i==""){              ##Checking condition if current field value is NULL then do following.
      continue               ##Using continue to take cursor to for loop again here.
    }
    if(i==j){                ##Checking condition if i==3 then do following.
      print $1,$3" "$2       ##Printing first, 3rd,space and 2nd field of line here.
    }
    else{                    ##If above if condition is false then come to this else here.
      print $1"_"++c,$i      ##Printing first field underscore variable c value, value of current field here.
    }
  }
  c=""                       ##Nullifying variable c here.
}
'  Input_file                ##Mentioning Input_file name here.

Answer 3

这将按照您在 Python 3 中的意图进行。请注意，我键入它的速度很快，因此可以进行许多改进。我相信它可能比 awk 快，但我可能错了。您可以在 Linux 和 Mac 中使用 time 命令测试是否如此。

#!/usr/local/bin/python3

import csv
csvr = csv.reader(open('simpsons.csv'), delimiter = ";")

index=0
for row in csvr:
    if index == 0:
        index = index +1
        continue
    print("{};{} {}".format(index,row[2],row[1]))
    sindex=0
    for sitem in row[3].split(','):
        if sitem != "" :
            sindex = sindex + 1
            print("{};{}".format(row[0] + "_" + str(sindex),sitem))
    index = index +1

希望对你有帮助！

编辑：

我生成了一个 500k 行的虚拟列表，并测试了用户在这里给出的一些答案，这似乎不是 Python 3 和 awk 之间的任何重要区别。 （至少在我在 Python 3 中的糟糕实现中）。

 $ time awk -f tst.awk fivehundredthousand.txt &> /dev/null

real    0m2.141s
user    0m2.118s
sys     0m0.020s

 $ time ./handle_csv.py >/dev/null

real    0m1.750s
user    0m1.722s
sys     0m0.021s

$ time awk -f ravinder.awk fivehundredthousand.txt &> /dev/null

real    0m1.736s
user    0m1.718s
sys     0m0.017s

Answer 4

Awk 有一个split 函数，可以让您将字符串拆分为数组。

awk -F ';' 'BEGIN { OFS=FS }
  { print $1, $3 " " $2
    n = split($4, alias, /,/)
    for(i=1; i<=n; i++)
      print $1 "_" i, alias[i] }' file.csv

split 的返回值告诉您结果数组中有多少成员。