对大文件进行排序

Question

我想对大约 20M 行的大文件进行排序：

• 团队名称和升序
• 然后按最高分递减。

这样我就可以获得每支球队得分最高的球员。

我想考虑系统的资源。所以...

1. 有没有办法在不将所有数据放入 Perl 中的哈希/数组的情况下做到这一点？
2. 我们可以使用 Unix/Linux 排序实用程序来执行此操作吗？

如果是这样，你能告诉我怎么做吗？

我的输入文件大约有 20M 行，格式如下

Chicago Bulls|Michael Jordan|38
LA Lakers|Kobe Bryant|32
Chicago Bulls|Steve Kerr|16
LA Lakers|Paul Gasol|20
LA Lakers|Shaquile ONeal|19
Chicago Bulls|Scottie Pippen|23
.
.
.

Answer 1

你不需要排序。

 #!/usr/bin/perl
use warnings; use strict;
my %high_score;

while (<DATA>) {
    chomp;
    my ($team_name, $player, $score) = split(/\|/);
    for ($high_score{$team_name}{$player}) {
        $_ = $score
            unless $_ && $_ > $score
    }
}

for my $team_name (sort keys %high_score) {
    my %team_scores = %{ $high_score{$team_name} };
    my @top_players = sort { $team_scores{$b} <=>  $team_scores{$a} } (keys %team_scores);

    my $n = 0;
    for my $player (@top_players) {
        print "$team_name, $player high score: $team_scores{$player}\n";
        last if ++$n >= 2;
    }
}

__DATA__
Chicago Bulls|Michael Jordan|38
Chicago Bulls|Scottie Pippen|23
Chicago Bulls|Poor Joe|10
Chicago Bulls|Steve Kerr|16
LA Lakers|Kobe Bryant|32
LA Lakers|Paul Gasol|20
LA Lakers|Shaquile ONeal|19

编辑：(1) 更新要求 (2) s/while/for/

Answer 2

我认为您不能告诉sort 在一列中升序排序，在另一列中降序排序。但是，您可以使用-s 选项在管道中使用两个sorts 以实现稳定排序：

sort -t\| -rnk3 file.in | sort -st\| -k1

Answer 3

我不知道sort 会不会被这么大的文件破坏，但是你可以试试下面的命令。它用管道分隔字段，然后按第一个字段和第三个字段按数字倒序排序，(-r)，后代：

sort -t'|' -k1,1 -k3,3nr infile

它产生：

Chicago Bulls|Michael Jordan|38
Chicago Bulls|Scottie Pippen|23
Chicago Bulls|Steve Kerr|16
LA Lakers|Kobe Bryant|32
LA Lakers|Paul Gasol|20
LA Lakers|Shaquile ONeal|19