Java while循环在大量迭代后随着时间的推移显着减慢

Question

我的程序在 while 循环中逐行读取文本文件。然后它处理每一行并提取一些要写入输出的信息。它在 while 循环中所做的一切都是 O(1)，除了我认为是 O(N) 的两个 ArrayList indexOf() 方法调用。该程序在开始时以合理的速度（每 100 秒 100 万行）运行，但随着时间的推移，它会显着减慢。我在输入文件中有 70 M 行，因此循环迭代了 7000 万次。理论上这应该需要大约 2 个小时，但实际上需要 13 个小时。问题出在哪里？

这里是sn-p的代码：

BufferedReader corpus = new BufferedReader(
            new InputStreamReader(
                        new FileInputStream("MyCorpus.txt"),"UTF8"));

Writer outputFile = new BufferedWriter(new OutputStreamWriter(
            new FileOutputStream("output.txt"), "UTF-8"));

List<String> words = new ArrayList();
//words is being updated with relevant values here   

LinkedHashMap<String,Integer> DIC = new LinkedHashMap();
//DIC is being updated with relevant key-value pairs here    

String line = ""; 
while ((line = corpus.readLine()) != null)
    String[] parts = line.split(" ");
    if (DIC.containsKey(parts[0]) && DIC.containsKey(parts[1])) {

        int firstIndexPlusOne = words.indexOf(parts[0])+ 1;
        int secondIndexPlusOne = words.indexOf(parts[1]) +1;

        outputFile.write(firstIndexPlusOne +" "+secondIndexPlusOne+" "+parts[2]+"\n");
        } else { 
            notFound++;
            outputFile.write("NULL\n");
        }
    }
outputFile.close();

Answer 1

我假设你在你去wordsArrayList时添加单词。

您正确地指出words.indexOf 是O(N)，这就是您的问题的原因。随着N 的增加（您将单词添加到列表中），这些操作需要的时间越来越长。

为避免这种情况，请对列表进行排序并使用binarySearch。

要保持排序，请在每个单词上使用binarySearch 来确定插入位置。这会将您的复杂性从O(n) 提高到O(log(N))。

Answer 2

我认为，words 是为了收集独特的单词，因此使用 Set。

Set<String> words = new HashSet<>();
Map<String, Integer> DIC = new HashMap<>();

DIC 也类似于频率表，在这种情况下，dic.keySet() 与words 相同。 LinkedHashMap 维护一个额外的列表，以保持条目按插入顺序排序。

编写单独的字符串，而不是首先创建新字符串更快。

   outputFile.write(firstIndexPlusOne);
   outputFile.write(" ");
   outputFile.write(secondIndexPlusOne);
   outputFile.write(" ");
   outputFile.write(parts[2]);
   outputFile.write("\n");

Answer 3

我认为你的问题之一是那一行：

outputFile.write(firstIndexPlusOne +" "+secondIndexPlusOne+" "+parts[2]+"\n");

由于字符串是不可变的，因此您会弄乱内存。另外，也许尝试在循环中的每一轮刷新写入缓冲区，它可能会有所改善（我的假设在这里）

尝试类似：

    String line = ""; 
    StringBuilder sb = new StringBuilder();
    while ...
    ...
      sb.append(firstIndexPlusOne);
      sb.append(" ");
      sb.append(secondIndexPlusOne);
      sb.append(" ");
      sb.append(parts[2]);
      sb.append("\n");
      outputFile.write(sb.toString());
      sb.setLength(0);
      outputFile.flush();

另外，也许值得一读：Tuning Java I/O Performance (Oracle)

Answer 4

如果语料库和单词列表都已排序，则 words.indexOf(..) 调用执行的线性搜索在每次迭代中都会变慢。

在处理语料库之前从您的单词列表中构建一个 HashMap(..) 可以解决问题。这样做可能是一个优化的好主意，即使这不是问题。

Answer 5

假设您在循环中既不更新words 也不更新DIC，显然当DIC.containsKey(parts[0]) && DIC.containsKey(parts[1]) 评估为真时消耗了最多的运行时间。

如果您的问题是“为什么会变慢”，而不是“我怎样才能加快速度”，我建议您将文件的前 10M 行复制到另一个文件中并复制它们以便您收到 70M 行，其中包含前 10M 行的副本。然后，执行您的代码。如果即使一遍又一遍地检查相同的内容，它也会变慢，您可以检查有关字符串构建器等的其他答案。

如果您没有遇到变慢的情况，那么显然这取决于您的 70M 文件的实际内容。很可能，对于原始文件的剩余 60M 行，DIC.containsKey(parts[0]) && DIC.containsKey(parts[1]) 的计算结果为 true 的频率更高，因此内部循环执行的频率更高，需要更多的时间。

在后一种情况下，我怀疑您是否可以通过应用单次写入来欺骗 I/O 负载，从而获得性能提升，但当然我可能错了。你得试试。但首先，我建议探索问题的根源，我认为这在于文件内容的结构。在了解了代码相对于给定输入的执行情况后，您可以尝试优化（尽管我会尝试将整个字符串保存在内存中，并在循环后的一个操作中写入其内容，而不是执行很多小的写入操作） .