【问题标题】:Reading and processing big text file of 25GB读取和处理25GB的大文本文件
【发布时间】:2012-02-07 11:55:16
【问题描述】:

我必须阅读一个 25 GB 的大文本文件,并且需要在 15-20 分钟内处理这个文件。该文件将有多个页眉和页脚部分。

我尝试 CSplit 根据标头拆分此文件,但根据标头将其拆分为多个文件需要大约 24 到 25 分钟,这是完全不可接受的。

我尝试使用BufferReader 和BufferWiter 以及FileReader 和FileWriter 进行顺序读写。它需要超过 27 分钟。同样,这是不可接受的。

我尝试了另一种方法,例如获取每个标头的起始索引,然后运行多个线程以使用 RandomAccessFile 从特定位置读取文件。但没有运气。

我怎样才能达到我的要求?

可能重复:

Read large files in Java

【问题讨论】:

    标签: java file file-io large-files


    【解决方案1】:

    尝试使用较大的缓冲区读取大小(例如,20MB 而不是 2MB)来更快地处理您的数据。也不要使用 BufferedReader,因为速度慢和字符转换。

    之前有人问过这个问题:Read large files in Java

    【讨论】:

      【解决方案2】:

      您需要确保 IO 在没有您的处理的情况下足够快,因为我怀疑是处理,而不是 IO 会减慢您的速度。您应该能够从硬盘驱动器获得 80 MB/s,从 SSD 驱动器获得高达 400 MB/s。这意味着您可以在一秒钟内阅读全部内容。

      试试下面的,不是最快,而是最简单的。

      long start = System.nanoTime();
      byte[] bytes = new byte[32*1024];
      FileInputStream fis = new FileInputStream(fileName);
      int len;
      while((len = fis.read(bytes)) > 0);
      long time = System.nanoTime() - start;
      System.out.printf("Took %.3f seconds%n", time/1e9);
      

      除非您发现您的速度至少达到 50 MB/s,否则您有硬件问题。

      【讨论】:

        【解决方案3】:

        尝试使用java.nio 以更好地利用操作系统功能。避免复制数据(例如复制到字符串中),但尽量使用 offsets。我相信 java.nio 类甚至会有将数据从一个缓冲区传输到另一个缓冲区的方法,而根本不需要将数据拉入 java 层(至少在 linux 上),但这基本上会转化为操作系统调用。

        对于许多现代 Web 服务器而言,这项技术是它们提供静态数据的性能的关键:本质上,它们尽可能多地委托给操作系统,以避免将其复制到主内存。

        让我强调这一点:仅通过 25 GB 字节缓冲区进行查找比将其转换为 Java 字符串(这可能需要字符集编码/解码 - 和复制)要快得多。任何可以节省副本和内存管理的东西都会有所帮助。

        【讨论】:

        • NIO 有自己设计的丑陋限制:您最多可以将 2GB 映射为缓冲区,因为 Buffer API 使用 int 表示所有偏移量。这使得 nio 对于大文件来说充其量是很麻烦的。
        • @Durandal 我也遇到了将此偏移量设为int 的问题。您还有其他解决方案可以建议吗?
        【解决方案4】:

        如果平台是正确的,您可能需要掏空并调用 cat 和 sed 的组合。如果不是这样,您可能仍想通过命令行脱壳并使用 perl。对于一定要Java做实际处理的情况,其他人已经给出了足够的答案。

        但请注意,炮击并非没有问题。但是 perl 或 sed 可能是唯一广泛可用的工具,可以在您的时间范围内抓取和更改 25GB 的文本。

        【讨论】:

          猜你喜欢
          • 2023-03-28
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2012-02-27
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          相关资源
          最近更新 更多