在第一列匹配后从 2 个文件中删除行

Question

我有两个文件 file1 和 file2，我想根据第一列（即 ID）删除不匹配的行

文件1

ID,NAME,ADDRESS
11,PP,LONDON
12,SS,BERLIN
13,QQ,FRANCE
14,LL,JAPAN

文件2

ID,NAME,ADDRESS
11,PP,LONDON
12,SS,BERLIN
13,QQ,FRANCE
16,WW,DUBAI

我想删除行

From File1
14,LL,JAPAN 

From File2
16,WW,DUBAI

使用 DIFF 命令我可以归档，但我想删除这些行。

还使用 AWK，我可以使用以下命令将这些行重定向到另一个文件。

awk 'FNR==NR{a[$1];next};!($1 in a)' File1 File2 > File3

但是不知道怎么删除。

我们可以这样做吗？

Using sed -id 's/AWK OUTPUT/g' File1

谢谢

Answer 1

你甚至不需要使用awk 这个操作grep 绰绰有余：

$ more file1 file2
::::::::::::::
file1
::::::::::::::
ID,NAME,ADDRESS
11,PP,LONDON
12,SS,BERLIN
13,QQ,FRANCE
14,LL,JAPAN
::::::::::::::
file2
::::::::::::::
ID,NAME,ADDRESS
11,PP,LONDON
12,SS,BERLIN
13,QQ,FRANCE
16,WW,DUBAI

$ grep -f <(grep -oP '^[^,]*,' file1) file2 > new_file2; grep -f <(grep -oP '^[^,]*,' file2) file1 > new_file1

$ more new_file*
::::::::::::::
new_file1
::::::::::::::
ID,NAME,ADDRESS
11,PP,LONDON
12,SS,BERLIN
13,QQ,FRANCE
::::::::::::::
new_file2
::::::::::::::
ID,NAME,ADDRESS
11,PP,LONDON
12,SS,BERLIN
13,QQ,FRANCE

解释：

您使用grep -oP 从每行中提取带有逗号的 id，然后再次调用 grep 并传递模式列表，就好像它是分析第二个文件的文件一样，这将只打印匹配的行，您这样做与其他文件相同。

但是在进程结束时两个文件是相同的，所以你不需要运行grep -f <(grep -oP '^[^,]*,' file2) file1 > new_file1

另一种处理方式是使用以下命令：

$ grep -F -f <(paste -d'\n' <(cut -d',' -f1 file1 | sort -n) <(cut -d',' -f1 file2 | sort -n) | uniq -D | uniq) file1 > new_file1

$ more new_file1
ID,NAME,ADDRESS
11,PP,LONDON
12,SS,BERLIN
13,QQ,FRANCE

Answer 2

使用 tee 命令回答：

请注意，我已删除 ! 标志

 awk 'FNR==NR{a[$1];next};($1 in a)' File1 File2 | tee File1 

您可以使用您编写的原始 awk 命令，只需稍加改动即可

1)删除!

2) 使用 tee command 将 awk 结果 pip 到文件 - 仅当 | 之前的命令结束时，使用 | 才会执行下一个命令

Answer 3

使用 GNU awk 的 inplace edit（有关版本的讨论，请参阅链接）：

$ awk -i inplace '            # inplace edit modifies the original files
BEGIN { FS="," }              # comma delimited files
NR==FNR {                     # first file, hash all records and set value to 1
    a[$1]++
}
($1 in a) && a[$1]==ARGIND {  # if index in a and it has been in each file read
    a[$1]++                   # ... increase count 
    print                     # ... and print to current file
}' file1 file2 file1

结果：

$ cat file1
ID,NAME,ADDRESS
11,PP,LONDON
12,SS,BERLIN
13,QQ,FRANCE
$ cat file2
ID,NAME,ADDRESS
11,PP,LONDON
12,SS,BERLIN
13,QQ,FRANCE

注意：就地编辑会修改原始文件，因此请注意。如果您想在不使用原始文件副本的情况下对其进行测试，您可以删除 -i inplace 并将 print 替换为 print FILENAME, $0

处理第一个文件时，每个 id 被散列到 a，其值增加到 1，因此输出到 file1，使其保持原始形式（如果没有重复的 id）。对于在 a 中找到的第二个文件 ID，将增加并打印回 file2，并且第二次处理适用于 file1 的文件。