Linux文件合并去重

1.取两个文件的交集

cat file1 file2 | sort | uniq -d > file3

 

2.删除两个文件的交集

cat file1 file2 | sort | uniq -u > file3

 

3.取两个文件的并集

cat file1 file2 | sort | uniq > file3

 

4.去除一个文件中的重复行

sort file1 | uniq > file2
注：这里把重复的行统一为一行

sort file1 | uniq -u > file2
注：这里把所有重复的行全部删掉了，一行不留