uniq 不会清除重复的条目

Question

我有一个文件，每行都有一个数字。我试图找出不同的数字集。以下是摘录：

 550
 400
 4000
 400
 1900
 550
 5000
 400
 1500
 1900
 5000
 4000
 5000
 1900
 5000

但是，通过uniq 传递它并不会清除所有重复项。行数从699减少到256，但还是有400或550等多行。

我使用 python 脚本生成了这个文件，所以我知道每一行都有一个空格，后跟一个数字，然后是 \n。至少这是我在代码中打印的内容。

我不明白文件有什么问题。为什么uniq 没有像我想象的那样工作？

（OS X Yosemite，python 2.7）

Answer 1

在调用uniq之前，您需要sort您的内容，或者您​​可以使用sort -u。

来自uniq 手册页：

uniq - 报告或省略重复的行

注意它是如何表示repeated而不是duplicate的。