【发布时间】:2012-02-07 11:55:16
【问题描述】:
我必须阅读一个 25 GB 的大文本文件,并且需要在 15-20 分钟内处理这个文件。该文件将有多个页眉和页脚部分。
我尝试 CSplit 根据标头拆分此文件,但根据标头将其拆分为多个文件需要大约 24 到 25 分钟,这是完全不可接受的。
我尝试使用BufferReader 和BufferWiter 以及FileReader 和FileWriter 进行顺序读写。它需要超过 27 分钟。同样,这是不可接受的。
我尝试了另一种方法,例如获取每个标头的起始索引,然后运行多个线程以使用 RandomAccessFile 从特定位置读取文件。但没有运气。
我怎样才能达到我的要求?
可能重复:
【问题讨论】:
标签: java file file-io large-files