读取大文本文件的最快方法

Question

我希望从大型（~870,000,000 行/~4GB）文本文件中提取某些行组。举个小例子，在一个 50 行的文件中，我可能需要第 3-6、18-27 和 39-45 行。使用 SO 开始，并编写一些程序来对我的数据进行基准测试，似乎 fortran90 给了我最好的结果（与 python、shell 命令（bash）等相比）。

我当前的方案只是打开文件并使用一系列循环将读取指针移动到我需要的位置并将结果写入输出文件。

使用上面的小例子，它看起来像：

    open(unit=1,fileName)
    open(unit=2,outFile)

    do i=1,2
      read(1,*)
    end do
    do i=3,6
      read(1,*) line
      write(2,*) line
    end do
    do i=7,17
      read(1,*)
    end do
    do i=18,27
      read(1,*) line
      write(2,*) line
    end do
    do i=28,38
      read(1,*)
    end do
    do i=39,45
      read(1,*) line
      write(2,*) line
    end do

*应该注意的是，我在编译时假设缓冲 i/o，尽管这似乎只是最低限度地加快了速度。

我很好奇这是否是完成我的任务的最有效方式。如果上述方法实际上是使用 fortran90 执行此操作的最佳方法，是否还有其他语言更适合此任务？

*更新：确保我使用的是缓冲 i/o，手动查找最有效的块大小/块计数。这将速度提高了约 7%。请注意，我正在使用的文件没有固定的记录长度。

Answer 1

您也可以尝试使用sed 实用程序。

sed '3,6!d' yourfile.txt
sed '18,27!d' yourfile.txt

Unix 实用程序往往非常优化，并且可以非常快速地解决此类简单任务。

Answer 2

几乎任何语言都应该能够做到这一点，所以如果你修正错别字，坚持这里的主题应该接近工作。 （如果我在 iPad 上有一个 fortran 编译器，它会更有用。）

PROGRAM AA
IMPLICIT NONE
INTEGER :: In_Unit, Out_Unit, I
LOGICAL, DIMENSION(1000) :: doIt
CHARACTER(LEN=20) :: FileName = 'in.txt'
CHARACTER(LEN=20) :: Outfile = 'out.txt'
CHARACTER(LEN=80) :: line

open(NEWunit=In_Unit,  fileName)  ! Status or action = read only??
open(NEWunit=Out_Unit, outFile)   ! Status or action = new or readwrite??

DoIt        = .FALSE.
DoIt(3:6)   = .TRUE.
DoIt(18:27) = .TRUE.
DoIt(39:45) = .TRUE.

do i=1,1000
  read(I_Unit,*) line
  IF(doIt(I)) write(Out_Unit,*) line
end do

CLOSE(In_Unit)
CLOSE(Out_Unit)

END PROGRAM AA