优化大文件的扫描仪性能

Question

我用Java 编写了一个程序，使用Scanner 来获取每行用空格分隔的两个元素，然后将其放入ArrayList 中存储的对象中。它工作得很好，但是当涉及到 10000 行的输入时，它会变得很长。我阅读了一些主题和网站（例如this）告诉BufferedReader 会比Scanner 高效很多，但我在尝试时没有看到任何改进。

这是我目前用来解析输入的每一行的行：

  String charsetName = "UTF-8";
  Scanner scanner = new Scanner(new BufferedInputStream(System.in), charsetName);

然后我在调用的行数期间运行了一个循环：

 String[] mid = scanner.nextLine().split(" ");

所以我尝试将Scanner 替换为：

BufferedReader reader = new BufferedReader(new InputStreamReader(System.in));
String[] base = reader.readLine().split(" ");

它没有改变任何东西（两种情况下 12000 行 8 秒）

我是否朝着正确的方向前进以使程序更快地运行？还是问题出在使用循环遍历每一行？

Answer 1

我使用以下代码读取了一个 280,000 行（每行由空格分隔的两个单词组成）的文件，并将它们拆分为一个空格。 耗时 0.105 秒。所以我想更多地了解你正在解析的行以及你正在用它做什么。请粘贴更多代码。

  public static void main(String args[]) throws Exception {

    Date start = new Date();

    BufferedReader b = new BufferedReader(new FileReader("aa.txt"));
    String line;
    while ((line = b.readLine())!=null) {
      String[] splat = line.split(" ");
    }
    b.close();

    Date end = new Date();
    System.out.println("Took " + (end.getTime() - start.getTime()) / 1000.0 + " seconds");
  }

我修改了上面的代码，将每个 splat 数组添加到数组列表中（不确定你为什么要这样做，但我猜这就是你想要做的，来自你的 OP）。代码减慢到 0.244 秒。仍然不到一秒钟。请提供更多信息。

补充 - 完整代码（使用 javac Julien.java 编译）。 记得用你的文件名替换 aa.txt。

import java.util.*;
import java.io.*;

public class Julien {

  public static void main(String args[]) throws Exception {

    Date start = new Date();
//    List arrl = new ArrayList();
    BufferedReader b = new BufferedReader(new FileReader("aa.txt"));
    String line;
    while ((line = b.readLine())!=null) {
      String[] splat = line.split(" ");
//      arrl.add(splat);
    }
    b.close();
    Date end = new Date();
    System.out.println("Took " + (end.getTime() - start.getTime()) / 1000.0 + " seconds");
  }
}