修改大文件内容

Question

我已经从我的数据库中的 json 文件中提取了我的表，现在我想读取这些文件并删除它们上的所有双引号，看起来很简单并且尝试了数百种解决方案，有些让我遇到了内存不足的问题。我正在处理大小超过 1Gb 的文件。您将在下面找到的代码有一个奇怪的行为，我不明白为什么它返回空文件

  public void replaceDoubleQuotes(String fileName){
    log.debug(" start formatting " + fileName + " ...");
    File firstFile = new File ("C:/sqlite/db/tables/" + fileName);
    String oldContent = "";
    String newContent = "";
    BufferedReader reader = null;
    BufferedWriter writer = null;
    FileWriter writerFile = null;
    String stringQuotes = "\\\\\\\\\"";
    try {
        reader = new BufferedReader(new FileReader(firstFile));
        writerFile = new FileWriter("C:/sqlite/db/tables/" + fileName);
        writer = new BufferedWriter(writerFile);
        
    while   (( oldContent = reader.readLine()) != null ){
        newContent = oldContent.replaceAll(stringQuotes, "");
        writer.write(newContent);
        }
    
    writer.flush();
    writer.close();
    } catch (Exception e) {
        log.error(e);
    }
}

当我尝试使用FileWriter(path,true)在文件末尾写入时，程序不会停止增加文件内存，直到硬盘已满，谢谢帮助

ps：我也尝试使用 subString 并附加新内容，然后我写了 subString 但也不起作用

Answer 1

TL;博士；

不要同时读写同一个文件。

问题

您的代码开始读取，然后立即截断正在读取的文件。

 reader = new BufferedReader(new FileReader(firstFile));
 writerFile = new FileWriter("C:/sqlite/db/tables/" + fileName);
 writer = new BufferedWriter(writerFile);
    

第一行打开文件的读取句柄。 第二行打开同一个文件的写句柄。 看FileWriter构造函数的文档不是很清楚，但是当你不使用允许指定append参数的构造函数时，默认值为false，意思是，你立即截断如果文件已经存在，则文件。

此时（第 2 行）您刚刚删除了您将要读取的文件。所以你最终得到一个空文件。

如何使用 append=true

好吧，那么文件在创建时并没有被擦除，这就是“好”。所以你的程序开始读取第一行，并输出（到同一个文件）过滤后的版本。

因此，每次读取一行时，都会附加另一行。

难怪您的程序永远不会到达文件末尾：每次前进一行，它都会创建另一行来处理。一般来说，您永远不会到达文件末尾（当然，如果文件开头是单行，您可能会遇到这种情况，但这是一种极端情况）。

解决方案

写入一个临时文件，如果（并且只有如果）你成功了，然后如果你真的需要交换文件。

此解决方案的一个优点：如果您的进程因任何原因崩溃，您将保持原始文件不变，您可以稍后重试，这通常是一件好事。您的过程是“可重复的”。

缺点：在某些时候您需要两倍的空间。 （虽然你可以压缩临时文件并减少这个因素，但仍然）。

关于内存不足问题

在处理任意大的文件时，您选择的路径（使用缓冲读取器和写入器）是正确的，因为您一次只使用一行内存。

因此它通常可以避免内存使用问题（当然，除非你有一个没有换行符的文件，在这种情况下它根本没有区别）。

其他解决方案，包括一次读取整个文件，然后在内存中执行搜索/替换，然后将内容写回，并不能很好地扩展，所以最好避免这种计算。

不相关但重要

查看try with resources 语法以正确关闭您的资源（读取器/写入器）。在这里，您忘记关闭阅读器，并且无论如何您都没有适当地关闭作者（即：在 finally 子句中）。

另一件事：我敢肯定，凡人编写的 Java 程序都无法击败大多数 unix 平台（以及更多平台）上可用的工具，如 sed 或 awk。也许您想检查一下自己在 java 中滚动是否值得使用 shell one-liner。

Answer 2

@GPI 已经提供了一个很好的答案，说明为什么同时读写会导致您遇到的问题。还值得注意的是，如果没有分配足够的堆，一次将 1gb 的数据读入堆肯定会导致OutOfMemoryError，这很可能。要解决此问题，您可以使用InputStream 并一次读取文件的块，然后写入另一个文件直到该过程完成，最终将现有文件替换为修改后的文件并删除。使用这种方法，您甚至可以使用 ForkJoinTask 来帮助解决这个问题，因为这是一项艰巨的工作。

旁注； 可能有比create new file, write to new file, replace existing, delete new file 更好的解决方案。