如何按 UNIX 的出现次数对行进行排序？

Question

我想按出现次数对输入进行排序。但是我不想删除唯一或非唯一行。例如，如果我得到以下输入：

Not unique
This line is unique
Not unique
Also not unique
Also unique
Also not unique
Not unique

我正在寻找一组可以输出以下内容的流水线命令：

This line is unique
Also unique
Also not unique
Also not unique
Not unique
Not unique
Not unique

感谢您提供的任何帮助，我一直在尝试使用 unique 和 sort 的不同组合，但无法弄清楚，解决方案最好是单行。

更新：感谢所有回复的人，尤其是@batMan，他的答案正是我正在寻找的我熟悉的命令。

我仍在尝试学习如何通过管道和使用多个命令来完成看似简单的任务，那么我是否可以调整他的答案以使用 2 列？例如，如果原始输入是：

Notunique dog 
Thislineisunique cat 
Notunique parrot 
Alsonotunique monkey 
Alsounique zebra 
Alsonotunique beaver 
Notunique dragon

我希望输出按第一列排序，如下所示：

Thislineisunique cat 
Alsounique zebra 
Alsonotunique monkey 
Alsonotunique beaver 
Notunique dog 
Notunique parrot 
Notunique dragon

感谢大家提前提供的帮助！

Answer 1

awk 最适合您更新的问题。

$ awk '{file[$0]++; count[$1]++; max_count= count[$1]>max_count?count[$1]:max_count;} END{ k=1; for(n=1; n<=max_count; n++){ for(i in count) if(count[i]==n) ordered[k++]=i} for(j in ordered) for( line in file) if (line~ordered[j]) print line; }' file

Alsounique zebra
Thislineisunique cat
Alsonotunique beaver
Alsonotunique monkey
Notunique parrot
Notunique dog
Notunique dragon

说明：

第 1 部分：

{file[$0]++; count[$1]++; max_count= count[$1]>max_count?count[$1]:max_count;}：

我们将您的输入文件存储在file 数组中； count 数组跟踪每个唯一的第一个字段的计数，您希望根据这些字段对文件进行排序。 max_count 跟踪最大计数。

第 2 部分： 一旦 awk 完成读取文件，count 的内容将如下所示：(keys, values)

Alsounique 1
Notunique 3
Thislineisunique 1
Alsonotunique 2

现在我们的目标是按值对这些键进行排序，如下所示。这是我们的关键步骤，因为对于下面输出中的每个字段/键/列 1，我们将遍历 file 数组并打印包含这些键的行，它将为我们提供最终所需的输出。

Alsounique 
Thislineisunique 
Alsonotunique 
Notunique 

下面的循环执行以sorted by values 方式将count 数组的内容存储到另一个名为ordered 的数组中的操作。 ordered 的内容将与上面显示的输出相同。

for(n=1; n<=max_count; n++)
    { 
        for(i in count) 
            if(count[i]==n) 
            ordered[k++]=i
    } 

最后一步：即遍历file数组并按照存储在ordered数组中的字段顺序打印行。

for(field in ordered) 
    for( line in file) 
        if (line~ordered[field]) 
            print line; 
    }

解决方案 2 :
另一种可能的解决方案是使用 sort、uniq 和 awk/cut。但如果您的输入文件非常大，我不建议使用此方法，因为多个管道调用多个进程会减慢整个操作。

$ cut -d ' ' -f1 file | sort | uniq -c | sort -n | awk 'FNR==NR{ordered[i++]=$2; next} {file[$0]++;} END{for(j in ordered) for( line in file) if (line~ordered[j]) print line;} ' - file
Alsounique zebra
Thislineisunique cat
Alsonotunique beaver
Alsonotunique monkey
Notunique parrot
Notunique dog
Notunique dragon

---

以前的解决方案（在 OP 编辑​​问题之前）

这可以使用sort、uniq 和awk 来完成，如下所示：

$ uniq -c <(sort f1) | sort -n | awk '{ for (i=1; i<$1; i++){print}}1'
      1 Also unique
      1 This line is unique
      2 Also not unique
      2 Also not unique
      3 Not unique
      3 Not unique
      3 Not unique

Answer 2

我会使用awk 来计算每行出现的次数，然后将它们打印出来（按频率预先确定）并使用sort -n 进行数字排序：

awk 'FNR==NR{freq[$0]++; next} {print freq[$0],$0}' data.txt data.txt | sort -n

样本输出

1 Also unique
1 This line is unique
2 Also not unique
2 Also not unique
3 Not unique
3 Not unique
3 Not unique

这真的是一个 Schwartzian 变换。如果要丢弃前导频率列，只需在命令末尾添加| cut -d ' ' -f 2-即可。

Answer 3

uniq + sort + grep 解决方案：

扩展inputfile内容：

Not unique
This line is unique
Not unique
Also not unique
Also unique
Also not unique
Not unique
Also not unique
Also not unique

---

预先对初始文件进行排序：

sort inputfile > /tmp/sorted

---

uniq -u /tmp/sorted; uniq -dc /tmp/sorted | sort -n | cut -d' ' -f8- \
   | while read -r l; do grep -x "$l" /tmp/sorted; done

输出：

Also unique
This line is unique
Not unique
Not unique
Not unique
Also not unique
Also not unique
Also not unique
Also not unique

---------

您也可以将整个作业包含在bash 脚本中：

#!/bash/bash

sort "$1" > /tmp/sorted   # $1 - the 1st argument (filename)
uniq -u /tmp/sorted

while read -r l; do
    grep -x "$l" /tmp/sorted
done < <(uniq -dc /tmp/sorted | sort -n | cut -d' ' -f8-)