从文件中随机选择行而不用 Unix 啜饮它

Question

我有一个 10^7 行的文件，我想在其中随机选择 1/100 行 从文件中。这是我拥有的 AWK 代码，但它包含所有文件内容 之前。我的电脑内存无法处理这样的啜饮。还有其他方法吗？

awk 'BEGIN{srand()}
!/^$/{ a[c++]=$0}
END {  
  for ( i=1;i<=c ;i++ )  { 
    num=int(rand() * c)
    if ( a[num] ) {
        print a[num]
        delete a[num]
        d++
    }
    if ( d == c/100 ) break
  }
 }' file

Answer 1

在这种情况下，使用 awk 获取准确 k 值的水库采样是微不足道的，我很惊讶没有任何解决方案建议这样做。我不得不解决同样的问题，我编写了以下awk 采样程序：

#!/usr/bin/env awk -f
BEGIN{
    srand();
    if(k=="") k=10
}

NR <= k {
    reservoir[NR-1] = $0;
    next;
}

{ i = int(NR * rand()) }

i < k { reservoir[i] = $0 }

END {
    for (i in reservoir) {
        print reservoir[i];
    }
}

如果保存为sample_lines 并使其可执行，则可以像这样运行：./sample_lines -v k=5 input_file。如果没有给出k，则默认使用10。

然后弄清楚 k 是什么必须单独完成，例如通过设置-v "k=$(dc -e "$(cat input_file | wc -l) 100 / n")"

Answer 2

如果目的只是避免内存耗尽，并且文件是常规文件，则无需执行存储库采样。如果您在文件中执行两次传递，则可以知道文件中的行数，一次获取行数（如wc -l），一次选择样本：

file=/some/file
awk -v percent=0.01 -v n="$(wc -l < "$file")" '
  BEGIN {srand(); p = int(n * percent)}
  rand() * n-- < p {p--; print}' < "$file"

Answer 3

如何从大量（未知大小）中均匀采样 N 个元素的问题被称为Reservoir Sampling。 （如果您喜欢算法问题，请不要阅读 Wikipedia 上的算法，花几分钟尝试解决它。​​）

在网络上搜索“Reservoir Sampling”会发现很多实现。 Here 是实现您想要的 Perl 和 Python 代码，here 是另一个讨论它的 Stack Overflow 线程。

Answer 4

这应该在大多数GNU / Linux机器上工作。

$ shuf -n $(( $(wc -l < $file) / 100)) $file

如果通过GNU SHUF命令不恰当地完成内存管理，我会感到惊讶。

Answer 5

如果您有那么多行，您确定要正好 1% 还是统计估计就足够了？

在第二种情况下，只需在每行随机化 1%...

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}'

如果您想要标题行加上后面的随机行样本，请使用：

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print $0}'

Answer 6

我不知道 awk，但是有一种很棒的技术可以解决您所描述的问题的更一般版本，并且在一般情况下它比for line in file return line if rand 方法，因此如果您打算多次（数千、数百万）次执行上述任务，它可能会很有用。它被称为reservoir sampling 和this page 对它的适用于您的情况的版本有很好的解释。

Answer 7

您使用了 awk，但我不知道它是否需要。如果不是，这是使用 perl 的一种简单方法（并且无需将整个文件加载到内存中）：

cat your_file.txt | perl -n -e 'print if (rand() < .01)'

（更简单的形式，来自 cmets）：

perl -ne 'print if (rand() < .01)' your_file.txt 

Answer 8

我在 Gawk 中编写了这个确切的代码——你很幸运。它很长，部分原因是它保留了输入顺序。可能会有一些性能增强。

在事先不知道输入大小的情况下，这个算法是正确的。我在这里发布了rosetta stone。 （我没有发布这个版本，因为它做了不必要的比较。）

原帖：Submitted for your review -- random sampling in awk.

# Waterman's Algorithm R for random sampling
# by way of Knuth's The Art of Computer Programming, volume 2

BEGIN {
    if (!n) {
        print "Usage: sample.awk -v n=[size]"
        exit
    }
    t = n
    srand()

}

NR <= n {
    pool[NR] = $0
    places[NR] = NR
    next

}

NR > n {
    t++
    M = int(rand()*t) + 1
    if (M <= n) {
        READ_NEXT_RECORD(M)
    }

}

END {
    if (NR < n) {
        print "sample.awk: Not enough records for sample" \
            > "/dev/stderr"
        exit
    }
    # gawk needs a numeric sort function
    # since it doesn't have one, zero-pad and sort alphabetically
    pad = length(NR)
    for (i in pool) {
        new_index = sprintf("%0" pad "d", i)
        newpool[new_index] = pool[i]
    }
    x = asorti(newpool, ordered)
    for (i = 1; i <= x; i++)
        print newpool[ordered[i]]

}

function READ_NEXT_RECORD(idx) {
    rec = places[idx]
    delete pool[rec]
    pool[NR] = $0
    places[idx] = NR  
} 

Answer 9

你可以分两次完成：

• 遍历文件一次，只是为了计算有多少行
• 随机选择要打印的行的行号，将它们存储在排序列表（或集合）中
• 再次遍历文件并挑选出选定位置的行

python中的示例：

fn = '/usr/share/dict/words'

from random import randint
from sys import stdout

count = 0
with open(fn) as f:
   for line in f:
      count += 1

selected = set()
while len(selected) < count//100:
   selected.add(randint(0, count-1))

index = 0
with open(fn) as f:
   for line in f:
      if index in selected:
          stdout.write(line)
      index += 1

Answer 10

与其等到最后随机选择 1% 的行，不如在“/^$/”中每 100 行执行一次。这样，您一次只能保存 100 行。