【问题标题】:Is there something like the 'opposite' of yield?有没有类似于收益率的“相反”的东西?
【发布时间】:2023-03-29 23:01:01
【问题描述】:

我意识到我无法将完整的数据保存在内存中,因此我想将部分数据流式传输到内存中并使用它们,然后再将它们写回。

yield 是一个非常有用的关键字,它省去了使用枚举器和保存索引的所有工作,......

但是当我想通过 yield 移动 IEnumerable 并将它们写回集合/文件时,我是否需要使用枚举器概念,或者是否有类似的东西类似于 yield 的反面? 我开始关注 RX,但我不清楚它是否能解决我的问题?

    public static IEnumerable<string> ReadFile()
    {
        string line;

        var reader = new System.IO.StreamReader(@"c:\\temp\\test.txt");
        while ((line = reader.ReadLine()) != null)
        {
            yield return line;
        }

        reader.Close();
    }

    public static void StreamFile()
    {
        foreach (string line in ReadFile())
        {
            WriteFile(line);
        }
    }

    public static void WriteFile(string line)
    {
        // how to save the state, of observe an collection/stream???
        var writer = new System.IO.StreamWriter("c:\\temp\\test.txt");
        writer.WriteLine(line);

        writer.Close();
    }

【问题讨论】:

  • 你能详细说明你的问题吗?您所说的“转移IEnumerables”是什么意思? IEnumerable&lt;T&gt; 是惰性求值的,这意味着该方法在您开始迭代之前甚至不会开始执行。
  • 我的意思是,我想以块或流的形式读取数据,在内存中处理它们并将它们写回。在我读取数据表中的所有数据之前,对它们进行循环、转换值、添加列、删除行……然后他们写回了完整的数据表(xml、数据库、csv……)。但是数据太多(数据表变得太大),我需要将处理(读取、处理、写入)拆分为“块”或使用类似流的东西。

标签: c# yield


【解决方案1】:

在您的情况下,您可以将 IEnumerable&lt;string&gt; 直接传递给 WriteFile:

public static void WriteFile(IEnumerable<string> lines)
{
    // how to save the state, of observe an collection/stream???
    using(var writer = new System.IO.StreamWriter("c:\\temp\\test.txt"))
    {
        foreach(var line in lines)
            writer.WriteLine(line);
    }
}

由于输入是通过IEnumerable&lt;T&gt; 流式传输的,因此数据将永远不会保存在内存中。

请注意,在这种情况下,您可以只使用File.ReadLines 来执行读取,因为它已经通过IEnumerable&lt;string&gt; 将结果流回。使用File.WriteAllLines,您的代码可以这样完成(不过,您也可以只使用File.Copy):

File.WriteAllLines(outputFile, File.ReadLines(inputFile));

【讨论】:

  • 谢谢,很有用!但正如我所写,我不仅使用文件,这只是一个示例。我还使用 XML、ADOAdapter 循环遍历数据并在数据表之间移动它们。在我想将所有数据加载到数据表中,但它太多了,所以我尝试重新设计应用程序并使用“流”。如何在其他集合上使用它还是通用解决方案?
  • @JohnnyBravo75 这就是我向您展示第一个示例的原因 - 您可以直接推动 IEnumerable&lt;T&gt;,因为直到您开始枚举它才会真正进行评估。
  • @JohnnyBravo75 这是一个通用解决方案 - IEnumerable&lt;T&gt; 将有效地始终“流式传输”结果。您是在寻找不同的东西,还是有理由取消标记?
  • 不,我很困惑,如果它真的回答了我的问题,但我评论它是因为它很合适。我的意思是,我想以块或流的形式读取数据并对其进行处理(循环并转换)并将数据保存回任意格式。
  • @JohnnyBravo75 是的,如果您将数据流式传输到IEnumerable&lt;T&gt;,您可以遍历它、处理数据并将数据一次保存回一个元素,而无需加载到内存中。这就是这个答案所显示的。
猜你喜欢
  • 2016-03-16
  • 1970-01-01
  • 1970-01-01
  • 2020-03-11
  • 1970-01-01
  • 1970-01-01
  • 2016-06-17
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多