如何从文件中选择随机行

Question

我有一个包含 10 百行，长度不同的文本文件。现在我想随机选择N行，保存在另一个文件中，然后从原始文件中删除。 我已经找到了这个问题的一些答案，但大多数都使用了一个简单的想法：对文件进行排序并选择第一行或最后 N 行。不幸的是，这个想法对我不起作用，因为我想保留行的顺序。 我试过这段代码，但速度很慢，需要几个小时。

FILEsrc=$1;
FILEtrg=$2;
MaxLines=$3;
let LineIndex=1;
while [ "$LineIndex" -le "$MaxLines" ]
do
# count number of lines
NUM=$(wc -l $FILEsrc | sed 's/[ \r\t].*$//g');
let X=(${RANDOM} % ${NUM} + 1);
echo $X;
sed -n ${X}p ${FILEsrc}>>$FILEtrg; #write selected line into target file
sed -i -e  ${X}d ${FILEsrc};       #remove selected line from source file
LineIndex=`expr $LineIndex + 1`;
done

我发现这行代码中最耗时的一行：

sed -i -e  ${X}d ${FILEsrc};

有什么办法可以解决这个问题，让代码更快？ 既然我很着急，请问您可以发给我完整的 c/c++ 代码吗？

Answer 1

一个简单的 O(n) 算法描述如下：

http://en.wikipedia.org/wiki/Reservoir_sampling

array R[k];    // result
integer i, j;

// fill the reservoir array
for each i in 1 to k do
    R[i] := S[i]
done;

// replace elements with gradually decreasing probability
for each i in k+1 to length(S) do
    j := random(1, i);   // important: inclusive range
    if j <= k then
        R[j] := S[i]
    fi
done

Answer 2

生成所有偏移量，然后单次遍历文件。假设您在 offsets 中具有所需数量的偏移量（每行一个数字），您可以像这样生成一个 sed 脚本：

sed "s!.*!&{w $FILEtrg\nd;}!" offsets

输出是一个sed 脚本，您可以将其保存到一个临时文件中，或者（如果您的sed 方言支持）管道到第二个sed 实例：

... | sed -i -f - "$FILEsrc"

生成offsets 文件作为练习。

鉴于您有 Linux 标签，这应该可以立即使用。其他一些平台上的默认sed 可能无法理解\n 和/或接受-f - 从标准输入读取脚本。

这是一个完整的脚本，已更新为使用shuf（感谢@Thor！）以避免可能出现的重复随机数。

#!/bin/sh

FILEsrc=$1
FILEtrg=$2
MaxLines=$3

# Add a line number to each input line
nl -ba "$FILEsrc" | 
# Rearrange lines
shuf |
# Pick out the line number from the first $MaxLines ones into sed script
sed "1,${MaxLines}s!^ *\([1-9][0-9]*\).*!\1{w $FILEtrg\nd;}!;t;D;q" |
# Run the generated sed script on the original input file
sed -i -f - "$FILEsrc"

Answer 3

[我已经更新了每个解决方案以从输入中删除选定的行，但我不肯定 awk 是正确的。我自己偏爱bash 解决方案，所以我不会花任何时间调试它。如有错误，请随时编辑。]

这是一个简单的awk 脚本（使用浮点数更容易管理概率，与bash 不能很好地混合）：

tmp=$(mktemp /tmp/XXXXXXXX)
awk -v total=$(wc -l < "$FILEsrc") -v maxLines=$MaxLines '
    BEGIN { srand(); }
    maxLines==0 { exit; }
    { if (rand() < maxLines/total--) {
        print; maxLines--;
      } else {
        print $0 > /dev/fd/3
      }
    }' "$FILEsrc" > "$FILEtrg" 3> $tmp
mv $tmp "$FILEsrc"

当您在输出中打印一行时，您会减少 maxLines 以减少选择更多行的可能性。但是当您消耗输入时，您会减少total 以增加概率。在极端情况下，maxLines 的概率为零，因此您可以停止处理输入。在另一个极端情况下，一旦total 小于或等于maxLines，概率达到 1，您将接受所有后续行。

---

这是相同的算法，使用整数运算在（几乎）纯 bash 中实现：

FILEsrc=$1
FILEtrg=$2
MaxLines=$3

tmp=$(mktemp /tmp/XXXXXXXX)

total=$(wc -l < "$FILEsrc")
while read -r line && (( MaxLines > 0 )); do
    (( MaxLines * 32768 > RANDOM * total-- )) || { printf >&3 "$line\n"; continue; }
    (( MaxLines-- ))
    printf "$line\n"
done < "$FILEsrc" > "$FILEtrg" 3> $tmp
mv $tmp "$FILEsrc"

Answer 4

这是一个完整的 Go 程序：

package main

import (
    "bufio"
    "fmt"
    "log"
    "math/rand"
    "os"
    "sort"
    "time"
)

func main() {
    N := 10
    rand.Seed( time.Now().UTC().UnixNano())
    f, err := os.Open(os.Args[1]) // open the file
    if err!=nil { // and tell the user if the file wasn't found or readable
        log.Fatal(err)
    }
    r := bufio.NewReader(f)
    var lines []string // this will contain all the lines of the file
    for {
        if line, err := r.ReadString('\n'); err == nil {
            lines = append(lines, line)
        } else {
            break
        }
    }
    nums := make([]int, N) // creates the array of desired line indexes
    for i, _ := range nums { // fills the array with random numbers (lower than the number of lines)
        nums[i] = rand.Intn(len(lines))
    }
    sort.Ints(nums) // sorts this array
    for _, n := range nums { // let's print the line
        fmt.Println(lines[n])
    }
}

如果你将 go 文件放在 GOPATH 中名为 randomlines 的目录中，你可以这样构建它：

go build randomlines

然后这样称呼它：

  ./randomlines "path_to_my_file"

这将在您的文件中打印 N（此处为 10）随机行，但不会更改顺序。当然，即使是大文件，它也几乎是瞬时的。

Answer 5

这里有一个有趣的两遍选项，包括 coreutils、sed 和 awk：

n=5
total=$(wc -l < infile)

seq 1 $total | shuf | head -n $n                                           \
| sed 's/^/NR == /; $! s/$/ ||/'                                           \
| tr '\n' ' '                                                              \
| sed 's/.*/   &  { print >> "rndlines" }\n!( &) { print >> "leftover" }/' \
| awk -f - infile

一个随机数列表被传递给 sed，它会生成一个 awk 脚本。如果 awk 从上面的管道中删除，这将是输出：

{ if(NR == 14 || NR == 1 || NR == 11 || NR == 20 || NR == 21 ) print > "rndlines"; else print > "leftover" }

所以随机行保存在rndlines中，其余的保存在leftover中。

Answer 6

提到的“10 百”行排序应该很快，所以这是 Decorate、Sort、Undecorate 模式的一个很好的例子。它实际上创建了两个新文件，从原始文件中删除行可以通过重命名来模拟。

注意：不能使用 head 和 tail 代替 awk，因为它们在给定行数后关闭文件描述符，使 tee 退出从而导致 .rest 文件中的数据丢失。

FILE=input.txt
SAMPLE=10
SEP=$'\t'

<$FILE nl -s $"SEP" -nln -w1 | 
  sort -R |
  tee \
    >(awk "NR >  $SAMPLE" | sort -t"$SEP" -k1n,1 | cut -d"$SEP" -f2- > $FILE.rest) \
    >(awk "NR <= $SAMPLE" | sort -t"$SEP" -k1n,1 | cut -d"$SEP" -f2- > $FILE.sample) \
>/dev/null

# check the results
wc -l $FILE*

# 'remove' the lines, if needed
mv $FILE.rest $FILE

Answer 7

这可能对你有用（GNU sed、sort 和 seq）：

n=10
seq 1 $(sed '$=;d' input_file) |
sort -R |
sed $nq | 
sed 's/.*/&{w output_file\nd}/' | 
sed -i -f - input_file

其中$n 是要提取的行数。