根据 Unix 文件中的列查找重复行

Question

我有一个包含大约 100 万条记录的文件。我需要为 id 提取具有不同 FName 和 LName 的记录。

输入文件

Col1,Col2,Col3,Col4,ID,FName,Col5,LName,Col6,Col7,Col8
AP,abc@gmail.com,xyz1,abc1,123,Ram,,Kumar,phn1,fax1,url1
AP,abc2@gmail.com,xyz2,abc2,123,Shyam,,Kumar,phn2,fax2,url1
AP,abc@gmail.com,xyz1,abc1,345,Raman,,Kumar,phn2,fax2,url1
AP,abc@gmail.com,xyz1,abc1,345,Raman,,Kumar,phn2,fax2,url1
AP,abc@gmail.com,xyz1,abc1,567,Alex,,Smith,phn2,fax2,url1
AP,abc@gmail.com,xyz1,abc1,789,Allen,,Prack,phn2,fax2,url1

我想看到的结果

AP,abc@gmail.com,xyz1,abc1,123,Ram,,Kumar,phn1,fax1,url1
AP,abc2@gmail.com,xyz2,abc2,123,Shyam,,Kumar,phn2,fax2,url1

任何 AWK 或 Sed 命令或脚本都可以提供帮助吗？谢谢

Answer 1

这个单线应该可以完成这项工作：

awk -F "," '!a[$5] {a[$5]=$0} a[$5]!=$0{print a[$5]; print $0; a[$5]=$0}' input_file.txt

输出：

AP,abc@gmail.com,xyz1,abc1,123,Ram,,Kumar,phn1,fax1,url1
AP,abc2@gmail.com,xyz2,abc2,123,Shyam,,Kumar,phn2,fax2,url1

请注意，整行都是根据 ID 进行比较的。

Answer 2

awk -F, -v id="123" '$1 == id { map[NR]=$0 } END { for(i in map) { print map[i] } }' file

使用 awk，将字段分隔符设置为逗号，并传入一个名为 id 的变量。当第一个字段等于传递的 id 时，添加到一个名为 map 的数组中，以记录号为索引，并以行作为值。最后循环遍历数组并打印值。

Answer 3

你可以试试这个awk:

awk 'BEGIN {FS=OFS=","} {id = $5; name = $6 FS $8} id in map && map[id] != name {if (!done[id]++) print rec[id]; print} {map[id] = name; rec[id] = $0}' file

AP,abc@gmail.com,xyz1,abc1,123,Ram,,Kumar,phn1,fax1,url1
AP,abc2@gmail.com,xyz2,abc2,123,Shyam,,Kumar,phn2,fax2,url1

或者更具可读性：

awk 'BEGIN {
   FS=OFS=","
}
{
   id = $5
   # name variable to store fname, lname
   name = $6 FS $8
}
# if this id is already stored as key in map and if it is there check
# if stored name is different from current name
id in map && map[id] != name {
   # print previous record if not already printed
   if (!done[id]++)
      print rec[id]
   # print current record
   print
}
{
   # store name by key as id in map array
   # and store full record by key as id in rec array
   map[id] = name
   rec[id] = $0
}' file

Answer 4

对数组数组使用 GNU awk：

$ awk -F, '
    { vals[$5][$6 FS $8] = $0 }
    END {
        for ( id in vals ) {
            if ( length(vals[id]) > 1 ) {
                for (name in vals[id]) {
                    print vals[id][name]
                }
            }
        }
    }
' file
AP,abc@gmail.com,xyz1,abc1,123,Ram,,Kumar,phn1,fax1,url1
AP,abc2@gmail.com,xyz2,abc2,123,Shyam,,Kumar,phn2,fax2,url1

或者如果您的输入文件按示例输入中所示的“id”排序，则使用任何 awk 并且不将输入文件存储在内存中：

$ cat tst.awk
BEGIN { FS=OFS="," }
NR > 1 {
    id   = $5
    name = $6 FS $8

    if ( id == prevId ) {
        if ( name != prevName ) {
            if ( firstRec != "" ) {
                print firstRec
                firstRec = ""
            }
            print
        }
    }
    else {
        firstRec = $0
    }

    prevId   = id
    prevName = name
}

$ awk -f tst.awk file
AP,abc@gmail.com,xyz1,abc1,123,Ram,,Kumar,phn1,fax1,url1
AP,abc2@gmail.com,xyz2,abc2,123,Shyam,,Kumar,phn2,fax2,url1