如果你可以将这些行保留在内存中
如果足够多的数据可以放入内存，那么steve 的awk solution 非常简洁，无论您是通过awk 中的管道写入sort 命令，还是简单地通过管道输出未经修饰的@ 987654328@ 到 sort 在 shell 级别。
如果您有 100 GiB 的数据，其中可能有 3% 的重复，那么您需要能够在内存中存储 100 GiB 的数据。这是很多主内存。 64 位系统可能会使用虚拟内存来处理它，但它可能运行得相当慢。
如果密钥适合内存
如果您无法在内存中容纳足够多的数据，那么接下来的任务就会更加困难，并且至少需要对文件进行两次扫描。我们需要假设，您至少可以将每个键放入内存中，并计算该键出现的次数。
- 扫描 1：读取文件。
- 计算每个键在输入中出现的次数。
- 在
awk 中，使用icount[$1]++。
- 扫描 2：重新读取文件。
- 计算每个键出现的次数；
ocount[$1]++。
- 如果是
icount[$1] == ocount[$1]，则打印该行。
（假设您可以存储键和计数两次；另一种方法是在两次扫描中使用icount（仅），在扫描 1 中递增，在扫描 2 中递减，当计数减为零时打印值。 )
我可能会为此使用 Perl 而不是 awk，只是因为在 Perl 中重新读取文件比在 awk 中更容易。
连钥匙都不合适？
如果您甚至无法将键及其计数放入内存中怎么办？那么您将面临一些严重的问题，尤其是因为脚本语言可能无法像您希望的那样干净利落地向您报告内存不足的情况。在证明有必要之前，我不会尝试过这座桥。如果有必要，我们需要一些关于文件集的统计数据来了解可能的情况：
- 记录的平均长度。
- 不同键的数量。
- N = 1, 2, ... max中每一个出现 N 次的不同键的数量。
- 密钥的长度。
- 可装入内存的键数和计数。
可能还有其他人......所以，正如我所说，在证明有必要之前，我们不要尝试过桥。
Perl 解决方案
示例数据
$ cat x000.csv
abc,123,def
abd,124,deg
abe,125,deh
$ cat x001.csv
abc,223,xef
bbd,224,xeg
bbe,225,xeh
$ cat x002.csv
cbc,323,zef
cbd,324,zeg
bbe,325,zeh
$ perl fixdupcsv.pl x???.csv
abd,124,deg
abe,125,deh
abc,223,xef
bbd,224,xeg
cbc,323,zef
cbd,324,zeg
bbe,325,zeh
$
注意没有千兆字节级的测试！
fixdupcsv.pl
这使用了“向上计数，向下计数”技术。
#!/usr/bin/env perl
#
# Eliminate duplicate records from 100 GiB of CSV files based on key in column 1.
use strict;
use warnings;
# Scan 1 - count occurrences of each key
my %count;
my @ARGS = @ARGV; # Preserve arguments for Scan 2
while (<>)
{
$_ =~ /^([^,]+)/;
$count{$1}++;
}
# Scan 2 - reread the files; count down occurrences of each key.
# Print when it reaches 0.
@ARGV = @ARGS; # Reset arguments for Scan 2
while (<>)
{
$_ =~ /^([^,]+)/;
$count{$1}--;
print if $count{$1} == 0;
}
“while (<>)”符号会破坏@ARGV（因此在执行其他任何操作之前先复制到@ARGS），但这也意味着如果您将@ARGV 重置为原始值，它将在文件中运行第二次。在 Mac OS X 10.7.5 上使用 Perl 5.16.0 和 5.10.0 测试。
这是 Perl； TMTOWTDI。你可以使用：
#!/usr/bin/env perl
#
# Eliminate duplicate records from 100 GiB of CSV files based on key in column 1.
use strict;
use warnings;
my %count;
sub counter
{
my($inc) = @_;
while (<>)
{
$_ =~ /^([^,]+)/;
$count{$1} += $inc;
print if $count{$1} == 0;
}
}
my @ARGS = @ARGV; # Preserve arguments for Scan 2
counter(+1);
@ARGV = @ARGS; # Reset arguments for Scan 2
counter(-1);
可能也有压缩循环主体的方法，但我发现那里的内容相当清晰，并且更喜欢清晰而不是极端简洁。
调用
您需要以正确的顺序显示带有文件名的fixdupcsv.pl 脚本。由于您的文件编号从 1.csv 到大约 2000.csv，因此不要按字母数字顺序列出它们很重要。其他答案建议 ls -v *.csv 使用 GNU ls 扩展选项。如果有的话，那是最好的选择。
perl fixdupcsv.pl $(ls -v *.csv)
如果这不可用，那么您需要对名称进行数字排序：
perl fixdupcsv.pl $(ls *.csv | sort -t. -k1.1n)
awk 解决方案
awk -F, '
BEGIN {
for (i = 1; i < ARGC; i++)
{
while ((getline < ARGV[i]) > 0)
count[$1]++;
close(ARGV[i]);
}
for (i = 1; i < ARGC; i++)
{
while ((getline < ARGV[i]) > 0)
{
count[$1]--;
if (count[$1] == 0) print;
}
close(ARGV[i]);
}
}'
这会忽略awk 的固有“读取”循环并显式执行所有读取（您可以将 BEGIN 替换为 END 并获得相同的结果）。该逻辑在许多方面都基于 Perl 逻辑。在 Mac OS X 10.7.5 上使用 BSD awk 和 GNU awk 进行测试。有趣的是，GNU awk 在对 close 的调用中坚持使用括号，而 BSD awk 没有。 close() 调用在第一个循环中是必要的，以使第二个循环完全工作。第二个循环中的 close() 调用是为了保持对称性和整洁性 - 但当您在一次运行中处理几百个文件时，它们也可能是相关的。