在 linux/shell 环境中工作，我该如何完成以下操作：
文本文件 1 包含：
1
2
3
4
5
文本文件 2 包含：
6
7
1
2
3
4
我需要提取文件 2 中不在文件 1 中的条目。因此，在此示例中为“6”和“7”。
如何从命令行执行此操作？
非常感谢！
【问题讨论】：
标签： linux perl bash scripting command-line
$ cat file1 file1 file2 | sort | uniq -u
6
7
uniq -- 报告或过滤掉文件中的重复行
...重复 如果输入中的行不相邻，则不会检测到它们，因此 可能需要先对文件进行排序。
-u Only output lines that are not repeated in the input.
打印 file1 两次以确保 file1 中的所有条目都被 uniq -u 跳过。
【讨论】：
cat file1 file2 | sort -u > unique
【讨论】：
sort -u 将保留每个重复项出现一次。在问题示例中，除了 6 和 7 的所需值之外，仍将打印 1、2 和 3。
$ awk 'FNR==NR {a[$0]++; next} !($0 in a)' file1 file2
6
7
代码如何工作的解释：
细节说明：
FNR是当前文件的记录号NR 是所有输入文件的当前总记录数FNR==NR 仅在我们读取 file1 时为真$0 是当前文本行a[$0] 是一个散列，其键设置为当前文本行a[$0]++ 跟踪我们看到的当前文本行!($0 in a) 只有在我们没有看到行文本时才为真【讨论】：
RS="[ \n]" 以使代码更短。另外，欢迎来到 SO。
{ } 图标。我已经通过此更改编辑了您的问题。
a[$0] mem 位置。如果第二个文件有一百万行，则此解决方案不是最好的。另一方面，$0 in a 方法检查是否存在，但不会为第二个文件条目创建额外的内存位置。
for(i in a) 构造。谢谢你让我诚实，我会更新答案。
怎么样：
diff file_1 file_2 | grep '^>' | cut -c 3-
这将打印file_2 中不在file_1 中的条目。对于相反的结果，只需将 '>' 替换为 '
文件甚至不需要排序。
【讨论】：
使用 grep：
grep -F -x -v -f file_1 file_2
【讨论】：
grep -F -x -v -f file_1 file_2 确实是正确的。
我想知道以下哪种解决方案对于“较大”文件来说是“最快”的：
awk 'FNR==NR{a[$0]++}FNR!=NR && !a[$0]{print}' file1 file2 # awk1 by SiegeX
awk 'FNR==NR{a[$0]++;next}!($0 in a)' file1 file2 # awk2 by ghostdog74
comm -13 <(sort file1) <(sort file2)
join -v 2 <(sort file1) <(sort file2)
grep -v -F -x -f file1 file2
简而言之我的基准测试结果：
grep -Fxf，它会慢得多（在我的测试中是 2-4 次）。comm 比 join 稍快。comm 和 join 比 awk1 + awk2 快得多。 （当然，它们不假定已排序文件。）comm 的实际运行时间较短，可能是因为它使用了更多线程。 awk1 + awk2 的 CPU 时间较短。为简洁起见，我省略了全部细节。但是，我认为任何有兴趣的人都可以联系我或只是重复测试。大致上，设置是
# Debian Squeeze, Bash 4.1.5, LC_ALL=C, slow 4 core CPU
$ wc file1 file2
321599 321599 8098710 file1
321603 321603 8098794 file2
最快运行的典型结果
awk2: real 0m1.145s user 0m1.088s sys 0m0.056s user+sys 1.144
awk1: real 0m1.369s user 0m1.324s sys 0m0.044s user+sys 1.368
comm: real 0m0.980s user 0m1.608s sys 0m0.184s user+sys 1.792
join: real 0m1.080s user 0m1.756s sys 0m0.140s user+sys 1.896
grep: real 0m4.005s user 0m3.844s sys 0m0.160s user+sys 4.004
顺便说一句，对于笨蛋来说：似乎a[$0]=1 比a[$0]++ 快，而(!($0 in a)) 比(!a[$0]) 快。因此，对于 awk 解决方案，我建议：
awk 'FNR==NR{a[$0]=1;next}!($0 in a)' file1 file2
【讨论】：
这是另一个 awk 解决方案
$ awk 'FNR==NR{a[$0]++;next}(!($0 in a))' file1 file2
6
7
【讨论】：
() 代替{}？我假设这不是傻瓜主义，因为在这种情况下你倾向于使用gawk。
/pattern/{action} 组成。 ((!$0 in a)) 是“模式”部分。 {action} 默认打印。就像你可以做NR==1（例如）。
(!$0 in a) 不够？顺便说一句，如果您在评论前加上@username，那么用户名实际上会收到一条通知，告知他们有一条待处理的评论，否则他们不会。 @username 前缀不是必需的，仅当您是撰写问题和/或回答人们评论的人时。所以从技术上讲，我不需要为这个评论做这件事。
使用一些鲜为人知的实用程序：
sort file1 > file1.sorted
sort file2 > file2.sorted
comm -1 -3 file1.sorted file2.sorted
这将输出重复，所以如果file1中有1个3，但file2中有2个，这仍然会输出1个3。如果这不是您想要的，请将输出从sort 传送到uniq，然后再将其写入文件：
sort file1 | uniq > file1.sorted
sort file2 | uniq > file2.sorted
comm -1 -3 file1.sorted file2.sorted
GNU coreutils 包中有许多实用程序，允许进行各种文本操作。
【讨论】：
comm -13 <(sort file1) <(sort file2) 我仍然更喜欢awk，只是因为它运行单个进程而不是 3，因为它不需要排序文件。这会对大文件产生很大影响。
join 也可以用于此。
如果您真的决定从命令行执行此操作，this site（搜索“未找到重复项”）有一个搜索重复项的 awk 示例。这可能是一个很好的起点。
但是，我建议您为此使用 Perl 或 Python。基本上，程序的流程是：
findUniqueValues(file1, file2){
contents1 = array of values from file1
contents2 = array of values from file2
foreach(value2 in contents2){
found=false
foreach(value1 in contents1){
if (value2 == value1) found=true
}
if(!found) print value2
}
}
这不是最优雅的方法，因为它的时间复杂度为 O(n^2)，但它会完成这项工作。
【讨论】：