将csv转换成不同的格式

Question

使用 BASH，我需要将我从数据源接收到的 csv 输出转换为不同的格式，以便更容易导入 SQL 服务器。

源格式是单行，有一个数据点，然后是逗号，然后是任意数量的主机，用冒号分隔。

目标格式是一个数据点，然后是逗号，然后是一行中的一个主机。然后下一行将是相同的数据点，然后是逗号，然后是下一个主机。

基本上我需要从每个数据点 1 行和多个冒号分隔的主机更改为每个数据点多行，每行只有一个主机

源码格式：

data1,host1:host2
data2,host4:host5:host6
data3,host4:host7:host1:host5:host9

我需要

data1,host1
data1,host2
data2,host4
date2,host5
data2,host6
data3,host4
data3,host7
data3,host1
data3,host5
data3,host9

Answer 1

既然格式是这样的

field1,subfield1:subfield2:...

必须成为

field1,subfield1
field1,subfield2
field1,...

我会用...

awk 'BEGIN {FS=OFS=","}
     {n=split($2,a,":")
      for (i=1; i<=n; i++) print $1, a[i]}' file

这会将字段分隔符设置为逗号。然后，它会爆炸冒号上的第二个字段。既然split返回的是片数，那么这就是循环提取值的问题。

测试

$ awk 'BEGIN {FS=OFS=","} {n=split($2,a,":"); for (i=1; i<=n; i++) print $1, a[i]}' a
data1,host1
data1,host2
data2,host4
data2,host5
data2,host6
data3,host4
data3,host7
data3,host1
data3,host5
data3,host9

Answer 2

这里有 3 种方法：

awk -F'[,:]' '{for (i=2; i<=NF; i++) print $1","$i}' source.file

perl -F'[,:]' -lane '$d=shift @F; print "$d,$_" for @F' source.file

while IFS=",:" read -ra fields; do
     for ((i=1; i<"${#fields[@]}"; i++)); do
         echo "${fields[0]},${fields[i]}"
     done
done < source.file