如何在 2 个不同的文件中查找重复行？ Unix

Question

在 unix 终端上，我们可以使用diff file1 file2 来查找两个文件之间的差异。是否有类似的命令来显示 2 个文件的相似性？ （如有必要，允许使用许多管道。

每个文件都包含一行带有字符串的句子；它们被排序并使用sort file1 | uniq 删除重复的行。

file1:http://pastebin.com/taRcegVn

file2:http://pastebin.com/2fXeMrHQ

并且输出应该输出两个文件中出现的行。

output:http://pastebin.com/FnjXFshs

我可以使用 python 来做到这一点，但我认为将其放入终端有点过多：

x = set([i.strip() for i in open('wn-rb.dic')])
y = set([i.strip() for i in open('wn-s.dic')])
z = x.intersection(y)
outfile = open('reverse-diff.out')
for i in z:
  print>>outfile, i

Answer 1

如果你想得到一个重复行的列表而不求助于AWK，你可以使用-d flag to uniq:

sort file1 file2 | uniq -d

Answer 2

正如@tjameson 所说，它可能会在另一个线程中解决。 只是想发布另一个解决方案： sort file1 file2 | awk 'dup[$0]++ == 1'

1. 参考awk guide 获取一些awk 基础知识，当一条线的模式值为真时，这条线将是 打印出来的

2. dup[$0] 是一个哈希表，其中每个键都是输入的每一行， 原始值为 0 并在此行出现时递增，当 它再次出现，值应该是 1，所以dup[$0]++ == 1 是真的。 然后打印这一行。

请注意，这仅适用于问题中指定的两个文件中没有重复项的情况。