为什么这个 Elixir 代码这么慢？

Question

我目前对学习 Elixir 非常感兴趣，我学习一门新语言的典型方法是用它构建简单的程序。

所以我决定编写一个（非常简单的）类似 grep 的程序（或模块），如下所示：

defmodule LineMatch do
  def file(s, path) do
    case File.open(path, [:read]) do
      {:ok, fd} -> match s, fd
      {_, error} -> IO.puts "#{:file.format_error error}"
    end
  end
  defp match(s, fd) do
    case IO.read fd, :line do
      {:error, error} -> IO.puts("oh noez! Error: #{error}")
      line -> match(s, line, fd)
    end
  end
  defp match(s, line, fd) when line !== :eof do
    if String.contains?(line, s) do
      IO.write line
    end
    match(s, IO.read(fd, :line), fd)
  end
  defp match(_, _line, _) when _line === :eof do
  end
end

这很可能不是最优雅的方式，而且我对函数式编程也很陌生，所以我没想到它会超级快。但它不仅不快，而且实际上是超级慢。太慢了，我可能犯了一些非常明显的错误。

谁能告诉我，它是什么以及如何使它变得更好？

我通常使用单独的 .exs 文件来测试代码，例如

case System.argv do
  [searchTerm, path] -> LineMatch.file(searchTerm, path)
  _ -> IO.puts "Usage: lineMatch searchTerm path"
end

Answer 1

您可以通过做两件事来获得良好的性能，而不是像 lad2025 的回答那样读取整个文件。首先，使用IO.binstream 构建文件行的流，但作为原始二进制文件（用于性能）。使用 IO.stream 读取为 UTF-8，因此在读取文件时会产生额外的转换成本。如果您需要 UTF-8 转换，那么它会很慢。此外，使用 Stream.filter/2 和 Stream.map/2 函数应用过滤和映射操作可防止您多次迭代行。

defmodule Grepper do
  def grep(path, str) do
    case File.open(path) do
      {:error, reason} -> IO.puts "Error grepping #{path}: #{reason}"
      {:ok, file} ->
        IO.binstream(file, :line)
        |> Stream.filter(&(String.contains?(&1, str)))
        |> Stream.map(&(IO.puts(IO.ANSI.green <> &1 <> IO.ANSI.reset)))
        |> Stream.run
    end
  end
end

我怀疑您的代码最大的问题是 UTF-8 转换，但可能是通过调用 IO.read 从文件中逐行“拉取”，而不是将行“推送”到您的过滤/printing 操作使用IO.stream|binstream，你会产生一些额外的费用。我必须查看 Elixir 的源代码才能确定，但​​是上面的代码在我的机器上性能非常好（我正在从 Olson 时区数据库中搜索一个 143kb 的文件，不知道它将如何在非常大的文件上执行我手头没有很好的示例文件）。

Answer 2

使用 File.stream！会更有效率。 试试看：

defmodule Grepper do
  def grep(path, str) do
    File.stream!(path)
      |> Stream.filter(&(String.contains?(&1, str)))
      |> Stream.map(&(IO.puts(IO.ANSI.green <> &1 <> IO.ANSI.reset)))
      |> Stream.run
  end
end