在一个非常大的文件中逐行读取特定的行

Question

文件不适合内存。它超过 100GB，我想按行号访问特定行。在到达之前我不想逐行数数。

我已阅读http://docstore.mik.ua/orelly/perl/cookbook/ch08_09.htm

当我使用以下方法构建索引时，行返回工作到某个点。一旦行号非常大，返回的行是相同的。当我转到文件中的特定行时，将返回同一行。它似乎适用于第 1 行到第 350000 行（大约）；

 # usage: build_index(*DATA_HANDLE, *INDEX_HANDLE) 
    sub build_index {
        my $data_file  = shift;
        my $index_file = shift;
        my $offset     = 0;

        while (<$data_file>) {
            print $index_file pack("N", $offset);
            $offset = tell($data_file);
        }
    }

    # usage: line_with_index(*DATA_HANDLE, *INDEX_HANDLE, $LINE_NUMBER)
    # returns line or undef if LINE_NUMBER was out of range
    sub line_with_index {
        my $data_file   = shift;
        my $index_file  = shift;
        my $line_number = shift;

        my $size;               # size of an index entry
        my $i_offset;           # offset into the index of the entry
        my $entry;              # index entry
        my $d_offset;           # offset into the data file

        $size = length(pack("N", 0));
        $i_offset = $size * ($line_number-1);
        seek($index_file, $i_offset, 0) or return;
        read($index_file, $entry, $size);
        $d_offset = unpack("N", $entry);
        seek($data_file, $d_offset, 0);
        return scalar(<$data_file>);
    }

我也尝试过使用 DB_file 方法，但似乎需要很长时间才能打成平手。我也不太明白“DB_RECNO 访问方法将数组绑定到文件，每个数组元素一行”的含义。 tie不把文件读入数组正确吗？

Answer 1

pack N 创建一个 32 位整数。最大 32 位整数为 4GB，因此无法将索引存储到 100GB 大小的文件中。

某些版本使用 64 位整数。在这些上，您可以使用j。

某些版本使用 32 位整数。 tell 返回一个浮点数，允许您无损地索引最大 8,388,608 GB 的文件。对于那些，你应该使用F。

可移植代码如下所示：

use Config qw( %Config );
my $off_t = $Config{lseeksize} > $Config{ivsize} ? 'F' : 'j';

...
print $index_file pack($off_t, $offset);
...

---

注意：我假设索引文件仅由构建它的同一个 Perl 使用（或至少一个具有相同整数大小、查找大小和机器字节序的 Perl）。如果这个假设对你不成立，请告诉我。