有没有办法在 UNIX 排序中忽略标题行？

Question

我有一个固定宽度字段文件，我正在尝试使用 UNIX（在我的例子中是 Cygwin）排序实用程序对其进行排序。

问题是文件顶部有一个两行标题，它被排序到文件底部（因为每个标题行都以冒号开头）。

有没有办法告诉排序“通过未排序的前两行”或指定将冒号行排序到顶部的排序 - 其余行始终以 6 位数字开头（实际上是我正在排序的关键）如果有帮助的话。

例子：

:0:12345
:1:6:2:3:8:4:2
010005TSTDOG_FOOD01
500123TSTMY_RADAR00
222334NOTALINEOUT01
477821USASHUTTLES21
325611LVEANOTHERS00

应该排序为：

:0:12345
:1:6:2:3:8:4:2
010005TSTDOG_FOOD01
222334NOTALINEOUT01
325611LVEANOTHERS00
477821USASHUTTLES21
500123TSTMY_RADAR00

Answer 1

在简单的情况下，sed 可以优雅地完成工作：

    your_script | (sed -u 1q; sort)

或等价的，

    cat your_data | (sed -u 1q; sort)

关键在1q——打印第一行（标题）并退出（将其余输入留给sort）。

对于给出的示例，2q 可以解决问题。

seds（尤其是 GNU 的）需要 -u 开关（无缓冲），否则它们会以块的形式读取输入，从而消耗您想要通过 sort 代替的数据。

Answer 2

(head -n 2 <file> && tail -n +3 <file> | sort) > newfile

括号创建了一个子shell，将标准输出包裹起来，以便您可以通过管道传输或重定向它，就好像它来自单个命令一样。

Answer 3

如果您不介意使用awk，可以利用awk 的内置管道功能

例如。

extract_data | awk 'NR<3{print $0;next}{print $0| "sort -r"}' 

这会逐字打印前两行并将其余行通过sort 传递。

请注意，这具有非常特殊的优势，即能够有选择地对零件进行排序 的管道输入。建议的所有其他方法只会对可以多次读取的普通文件进行排序。这适用于任何事情。

Answer 4

这是一个适用于管道数据的版本：

(read -r; printf "%s\n" "$REPLY"; sort)

如果您的标题有多行：

(for i in $(seq $HEADER_ROWS); do read -r; printf "%s\n" "$REPLY"; done; sort)

此解决方案来自here

Answer 5

所以这是一个 bash 函数，其中参数与排序完全相同。支持文件和管道。

function skip_header_sort() {
    if [[ $# -gt 0 ]] && [[ -f ${@: -1} ]]; then
        local file=${@: -1}
        set -- "${@:1:$(($#-1))}"
    fi
    awk -vsargs="$*" 'NR<2{print; next}{print | "sort "sargs}' $file
}

它是如何工作的。此行检查是否存在至少一个参数以及最后一个参数是否为文件。

    if [[ $# -gt 0 ]] && [[ -f ${@: -1} ]]; then

这会将文件保存到单独的参数中。因为我们即将删除最后一个参数。

        local file=${@: -1}

这里我们删除了最后一个参数。因为我们不想将它作为排序参数传递。

        set -- "${@:1:$(($#-1))}"

最后，我们执行 awk 部分，传递参数（如果是文件，则减去最后一个参数）以在 awk 中排序。这最初是由 Dave 建议的，并被修改为采用排序参数。我们依赖于这样一个事实：如果我们正在管道，$file 将是空的，因此被忽略了。

    awk -vsargs="$*" 'NR<2{print; next}{print | "sort "sargs}' $file

逗号分隔文件的用法示例。

$ cat /tmp/test
A,B,C
0,1,2
1,2,0
2,0,1

# SORT NUMERICALLY SECOND COLUMN
$ skip_header_sort -t, -nk2 /tmp/test
A,B,C
2,0,1
0,1,2
1,2,0

# SORT REVERSE NUMERICALLY THIRD COLUMN
$ cat /tmp/test | skip_header_sort -t, -nrk3
A,B,C
0,1,2
2,0,1
1,2,0

Answer 6

你可以使用tail -n +3 <file> | sort ...（tail会从第3行输出文件内容）。

Answer 7

只需要两行代码...

head -1 test.txt > a.tmp; 
tail -n+2 test.txt | sort -n >> a.tmp;

对于数字数据，-n 是必需的。对于 alpha 排序，-n 不是必需的。

示例文件：
$ cat test.txt

标题
8
5
100
1
-1

结果：
$ cat a.tmp

标题
-1
1
5
8
100

Answer 8

head -2 <your_file> && nawk 'NR>2' <your_file> | sort

示例：

> cat temp
10
8
1
2
3
4
5
> head -2 temp && nawk 'NR>2' temp | sort -r
10
8
5
4
3
2
1

Answer 9

cat file_name.txt | sed 1d | sort 

这会做你想做的。

Answer 10

使用 Python：

import sys
HEADER_ROWS=2

for _ in range(HEADER_ROWS):
    sys.stdout.write(next(sys.stdin))
for row in sorted(sys.stdin):
    sys.stdout.write(row)

Answer 11

这是从其他答案派生的 bash shell 函数。它处理文件和管道。第一个参数是文件名或标准输入的“-”。剩余的参数被传递给排序。几个例子：

$ hsort myfile.txt
$ head -n 100 myfile.txt | hsort -
$ hsort myfile.txt -k 2,2 | head -n 20 | hsort - -r

shell函数：

hsort ()
{
   if [ "$1" == "-h" ]; then
       echo "Sort a file or standard input, treating the first line as a header.";
       echo "The first argument is the file or '-' for standard input. Additional";
       echo "arguments to sort follow the first argument, including other files.";
       echo "File syntax : $ hsort file [sort-options] [file...]";
       echo "STDIN syntax: $ hsort - [sort-options] [file...]";
       return 0;
   elif [ -f "$1" ]; then
       local file=$1;
       shift;
       (head -n 1 $file && tail -n +2 $file | sort $*);
   elif [ "$1" == "-" ]; then
       shift;
       (read -r; printf "%s\n" "$REPLY"; sort $*);
   else
       >&2 echo "Error. File not found: $1";
       >&2 echo "Use either 'hsort <file> [sort-options]' or 'hsort - [sort-options]'";
       return 1 ;
   fi
}

Answer 12

这与 Ian Sherbin 的答案相同，但我的实现是：-

cut -d'|' -f3,4,7 $arg1 | uniq > filetmp.tc
head -1 filetmp.tc > file.tc;
tail -n+2 filetmp.tc | sort -t"|" -k2,2 >> file.tc;