在 C# 中逐行读取文件

Question

我正在尝试读取一些文本文件，其中每一行都需要处理。目前我只是使用 StreamReader，然后单独读取每一行。

我想知道是否有更有效的方法（在 LoC 和可读性方面）使用 LINQ 来做到这一点，而不会影响操作效率。我看到的示例涉及将整个文件加载到内存中，然后对其进行处理。但是，在这种情况下，我认为这不会非常有效。在第一个示例中，文件可以达到大约 50k，而在第二个示例中，并非文件的所有行都需要读取（大小通常小于 10k）。

您可能会争辩说，如今这些小文件并不重要，但我相信这种方法会导致代码效率低下。

第一个例子：

// Open file
using(var file = System.IO.File.OpenText(_LstFilename))
{
    // Read file
    while (!file.EndOfStream)
    {
        String line = file.ReadLine();

        // Ignore empty lines
        if (line.Length > 0)
        {
            // Create addon
            T addon = new T();
            addon.Load(line, _BaseDir);

            // Add to collection
            collection.Add(addon);
        }
    }
}

第二个例子：

// Open file
using (var file = System.IO.File.OpenText(datFile))
{
    // Compile regexs
    Regex nameRegex = new Regex("IDENTIFY (.*)");

    while (!file.EndOfStream)
    {
        String line = file.ReadLine();

        // Check name
        Match m = nameRegex.Match(line);
        if (m.Success)
        {
            _Name = m.Groups[1].Value;

            // Remove me when other values are read
            break;
        }
    }
}

Answer 1

您可以使用迭代器块轻松编写基于 LINQ 的行阅读器：

static IEnumerable<SomeType> ReadFrom(string file) {
    string line;
    using(var reader = File.OpenText(file)) {
        while((line = reader.ReadLine()) != null) {
            SomeType newRecord = /* parse line */
            yield return newRecord;
        }
    }
}

或者让乔恩开心：

static IEnumerable<string> ReadFrom(string file) {
    string line;
    using(var reader = File.OpenText(file)) {
        while((line = reader.ReadLine()) != null) {
            yield return line;
        }
    }
}
...
var typedSequence = from line in ReadFrom(path)
                    let record = ParseLine(line)
                    where record.Active // for example
                    select record.Key;

那么你有 ReadFrom(...) 作为一个懒惰评估的序列，没有缓冲，非常适合 Where 等。

注意，如果你使用OrderBy或标准GroupBy，它必须在内存中缓冲数据；如果您需要分组和聚合，“PushLINQ”有一些花哨的代码允许您对数据执行聚合但丢弃它（无缓冲）。乔恩的解释is here。

Answer 2

读取一行并检查它是否为空比一直检查 EndOfStream 更简单。

但是，我在 MiscUtil 中也有一个 LineReader 类，这使得所有这一切变得更加简单 - 基本上它公开了一个文件（或将 Func<TextReader> 暴露为 IEnumerable<string>，这让您可以对其进行 LINQ 操作. 所以你可以这样做：

var query = from file in Directory.GetFiles("*.log")
            from line in new LineReader(file)
            where line.Length > 0
            select new AddOn(line); // or whatever

LineReader 的核心是IEnumerable<string>.GetEnumerator 的实现：

public IEnumerator<string> GetEnumerator()
{
    using (TextReader reader = dataSource())
    {
        string line;
        while ((line = reader.ReadLine()) != null)
        {
            yield return line;
        }
    }
}

几乎所有其他来源只是提供灵活的设置dataSource（即Func<TextReader>）的方法。

Answer 3

从 .NET 4.0 开始，File.ReadLines() 方法可用。

int count = File.ReadLines(filepath).Count(line => line.StartsWith(">"));

Answer 4

注意：您需要注意IEnumerable<T> 解决方案，因为它会导致文件在处理期间处于打开状态。

例如，用 Marc Gravell 的回应：

foreach(var record in ReadFrom("myfile.csv")) {
    DoLongProcessOn(record);
}

文件将在整个处理过程中保持打开状态。

Answer 5

感谢大家的回答！我决定混合使用，主要关注 Marc，因为我只需要从文件中读取行。我猜你可能会说到处都需要分开，但是，生命太短暂了！

关于保持文件打开，在这种情况下这不会成为问题，因为代码是桌面应用程序的一部分。

最后我注意到你们都使用小写字符串。我知道在 Java 中大写和非大写字符串之间存在区别，但我认为在 C# 中小写字符串只是对大写字符串的引用？

public void Load(AddonCollection<T> collection)
{
    // read from file
    var query =
        from line in LineReader(_LstFilename)
        where line.Length > 0
        select CreateAddon(line);

    // add results to collection
    collection.AddRange(query);
}

protected T CreateAddon(String line)
{
    // create addon
    T addon = new T();
    addon.Load(line, _BaseDir);

    return addon;
}

protected static IEnumerable<String> LineReader(String fileName)
{
    String line;
    using (var file = System.IO.File.OpenText(fileName))
    {
        // read each line, ensuring not null (EOF)
        while ((line = file.ReadLine()) != null)
        {
            // return trimmed line
            yield return line.Trim();
        }
    }
}