修改文本文件而不读入内存

Question

我试图找出一种方法来修改文本文件（特别是删除特定行），而无需将大部分文件读入内存或重写整个文件。这里所说的文件比主内存大约 15-50 Gigs。

附：我正在使用 Linux。

Answer 1

您将无法绕过制作新文件，因此只需硬着头皮去做。使用grep使用适当的选项并将结果加入第二个文件：

$ grep -fv patternsToExcludeFromInput input > output

另一种方法是将模式放入例如哈希表 (Perl)、字典 (Python) 或 unordered_map (C++) 中，并处理输入文件的每一行以查找匹配项。

如果没有匹配，则将该行打印到标准输出流（您可以通过管道传输到常规文件）。您的内存使用将主要限于哈希表和您正在查询的输入行。

Answer 2

如果文件比内存大，sed 是你的朋友。它充当旧文件和新文件之间的过滤器，最后，您只需将新文件重命名为旧名称。语法对于新手来说有点奇怪，但它真的很强大，能够按数字、正则表达式或范围选择行，并应用插入、删除或字符串替换。

Answer 3

您可以在“rw”模式下打开文件并使用 fseek、fread、fwrite 来读/写文件的一部分。您必须注意不要覆盖您尚未阅读的部分。所以删除你向前读写的一行，插入你向后读写的一行（从文件末尾开始）。

示例

要从文件开头删除前 100 个字节，您可以执行以下操作：

FILE *fp = fopen(filename,"rw");
size_t BLOCK_SIZE = 1024;
char buffer[BLOCK_SIZE];
size_t offset = 100;
fseek(fp,0,SEEK_END);
size_t length = ftell(fp);
for (size_t i=0; i< (length-offset+BLOCK_SIZE-1) / BLOCK_SIZE; ++i) {
  fseek(fp,i*BLOCK_SIZE + offset,SEEK_SET);
  size_t count = fread(fp,buffer,sizeof(char),BLOCK_SIZE);
  fseek(fp,i*BLOCK_SIZE,SEEK_SET);
  fwrite(fp,buffer,sizeof(char),count);
}