如何在 Ruby 中有效地读取文件的第 n 行？

Question

我有一个 2 GiB 的文件，我想读取文件的第一行。 我可以调用返回数组的File#readlines方法，并使用[0]括号语法，at(0)，或slice(0)或first方法。

但是有一个问题。我的 PC 有 3.7 GiB RAM，使用量从 1.1 GiB 一直到 3.7 GiB。但我想要的只是文件的第一行。有没有有效的方法来做到这一点？

Answer 1

IO.foreach 呢？

IO.foreach('filename') { |line| p line; break }

这应该读取第一行，打印它，然后停止。它不会读取整个文件；它一次读取一行。

Answer 2

您是否尝试过readline 而不是readlines？

File.open('file-name') { |f| f.readline }

Answer 3

我会使用命令行。比如这样：

exec("cat #{filename} | head -#{nth_line} | tail -1")

希望对你有用。

Answer 4

所以我提供了一个可以非常有效地完成这项工作的代码。

首先，我们可以使用IO#each_line 方法。假设我们需要 3,000,000 处的线路：

#!/usr/bin/ruby -w

file = File.open(File.join(__dir__, 'hello.txt'))
final = nil
read_upto = 3_000_000 - 1

file.each_line.with_index do |l, i|
    if i == read_upto
        final = l
        break
    end
end

file.close
p final

使用time shell 内置运行：

[我有一个很大的 hello.txt 文件，里面有 #!/usr/bin/ruby -w #lineno！！]

$ time ruby p.rb
"#!/usr/bin/ruby -w #3000000\n"

real    0m1.298s
user    0m1.240s
sys 0m0.043s

我们也可以很轻松的拿到第一行！你明白了……

其次，扩展另一个mh的答案：

#!/usr/bin/ruby -w

enum = IO.foreach(File.join(__dir__, 'hello.txt'))

# Getting the first line
p enum.first

# Getting the 100th line
# This can still cause memory issues because it
# creates an array out of each line
p enum.take(100)[-1]

# The time consuming but memory efficient way
# reading the 3,000,000th line
# While loops are fastest

index, i = 3_000_000 - 1, 0
enum.next && i += 1 while i < index
p enum.next    # reading the 3,000,000th line

与time一起运行：

time ruby p.rb 
"#!/usr/bin/ruby -w #1\n"
"#!/usr/bin/ruby -w #100\n"
"#!/usr/bin/ruby -w #3000000\n"

real    0m2.341s
user    0m2.274s
sys 0m0.050s

可能还有其他方式，例如IO#readpartial、IO#sysread 等。但是IO.foreach 和IO#each_line 是最简单且使用起来相当快的。

希望这会有所帮助！

Answer 5

从https://www.rosettacode.org/wiki/Read_a_specific_line_from_a_file#Ruby获取

 seventh_line = open("/etc/passwd").each_line.take(7).last