“排序文件名| uniq”不适用于大文件答案

【问题标题】："sort filename | uniq" does not work on large files“排序文件名| uniq”不适用于大文件
【发布时间】：2013-03-07 18:57:35
【问题描述】：

我可以从小文本文件中删除重复条目，但不能从大文本文件中删除。
我有一个 4MB 的文件。
文件的开头如下所示：

aa
aah
aahed
aahed
aahing
aahing
aahs
aahs
aal
aalii
aalii
aaliis
aaliis
...

我想删除重复项。
例如，“aahed”出现了两次，我只希望它出现一次。

无论我尝试过哪种单线，大名单都不会改变。

如果输入： 排序 big_list.txt |独特 |少
我明白了：

aa
aah
aahed
aahed   <-- didn't get rid of it
aahing
aahing   <-- didn't get rid of it
aahs
aahs   <-- didn't get rid of it
aal
...

但是，如果我从这个文本文件的顶部复制一小块单词并在小块数据上重新运行命令，它会达到预期的效果。

这些程序是否因为文件太大而拒绝排序？我不认为 4MB 很大。它不会输出警告或任何东西。

我很快就编写了自己的“uniq”程序，它具有相同的行为。它适用于列表的一小部分，但对 4MB 文本文件没有任何作用。我有什么问题？

编辑： 这是一个十六进制转储：

00000000  61 61 0a 61 61 68 0a 61  61 68 65 64 0a 61 61 68  |aa.aah.aahed.aah|
00000010  65 64 0d 0a 61 61 68 69  6e 67 0a 61 61 68 69 6e  |ed..aahing.aahin|
00000020  67 0d 0a 61 61 68 73 0a  61 61 68 73 0d 0a 61 61  |g..aahs.aahs..aa|
00000030  6c 0a 61 61 6c 69 69 0a  61 61 6c 69 69 0d 0a 61  |l.aalii.aalii..a|
00000040  61 6c 69 69 73 0a 61 61  6c 69 69 73 0d 0a 61 61  |aliis.aaliis..aa|

61 61 68 65 64 0a
a  a  h  e  d  \r

61 61 68 65 64 0d
a  a  h  e  d  \n

已解决：不同的行分隔符

【问题讨论】：

您确定其中一些行没有任何尾随空格或其他不可见字符吗？ uniq 不应该关心文件有多大，因为（由于它要求文件已经排序）它一次只需要在内存中存储几行。
线条是否可能以不明显的方式不同？例如在空格或行分隔符 char
没什么明显的，但我想可能是这样。但是，当我将其中的一部分粘贴到另一个文件中并再次执行时，它会起作用。我不会也粘贴那些字符吗？也许你是对的，这是一些奇怪的不可见的 ASCII 字符，我的剪贴板没有拾取........
也许行的尾随空格不同？
也许你可以使用head 命令来测试它是否只在前几行有效？

标签： linux bash shell terminal command-line-interface

【解决方案1】：

回答max taldykin关于awk '!_[$0]++' file的问题：

awk '!_[$0]++' file 同

awk '!seen[$0]++' file

，与

相同

awk '!seen[$0]++ { print; }' file

，意思是

awk '
    {
        if (!seen[$0]) {
            print;
        }
        seen[$0]++;
    }' file

这里的重点：

$0 表示当前记录，通常是当前行
在awk 中，ACTION 部分是可选的，默认操作是{ print; }
在算术上下文中，未初始化的变量是0

【讨论】：

这个技巧经常用在支持hash或关联数组的脚本语言中。这里是an example with Perl。

【解决方案2】：

您可以标准化行分隔符（将 CR+LF 转换为 LF）：

sed 's/\r//' big_list.txt | sort -u

【讨论】：

【解决方案3】：

除了sort -u，你还可以使用awk '!_[$0]++' yourfile

【讨论】：

@clarkw，谢谢，但这无助于理解 !_[$0]++ 的含义

【解决方案4】：

sort(1) 命令接受 -u 选项以保证密钥的唯一性。

随便用

 sort -u big_list.txt

【讨论】：

应该可以工作，但是当我将其输入“less”时，我仍然会看到重复项。但是，如果我从“less”的输出中看到那个块，将它粘贴到另一个文件中，并在该文件上运行相同的命令，它会删除重复项。
将其导入文件并使用十六进制编辑器来比较据称重复的行。
@skai in hex, 0a 0d 不同的行分隔符.. sigh，谢谢。