如何在 C# 中加快循环速度

Question

我必须迭代超过 100 万个项目，我的下一步行动取决于对这 100 万个项目的成功迭代。 截至目前，我正在使用 C# 的 While 循环，完成迭代大约需要 5-6 分钟。有没有办法加快这个处理？稍后我可能有大约 5-6 百万个项目要迭代。

        System.IO.StreamReader file =
           new System.IO.StreamReader("data.csv");
        System.IO.StreamWriter jsonFile =
           new System.IO.StreamWriter("jsonData.csv");
        BBP obj;
        var dataList = new Dictionary<string, dynamic>();
        while ((line = file.ReadLine()) != null)
        {
            if (counter == 0)
            {
                columns = line.Split(',');
            }
            else
            {
                data = line.Split(',');

                obj = new BBP();
                obj.BBP_CR_PART_NO = data[0];
                obj.BBP_RO_NO = data[1];
                obj.BBP_BPR_TPN = data[2];
                dataList.Add("item_" + counter, obj);
                Console.WriteLine(counter);
            }
            counter++;
        }

Answer 1

如果您满足以下条件，您可以加快速度：

1. 读取循环外的第一行，然后删除if (counter == 0) 检查。这将针对每一行进行处理，并且仅具有一次价值。
2. 将dataList 更改为List<BBP>。这样您在添加项目时不需要指定键（字符串连接的成本很小），并且您已经有一个可以稍后引用的索引（如果适合您的话）。
3. 删除计数器增量（此时完全删除计数器）。
4. 删除控制台输出。

另外，考虑将你的文件分成多个文件，然后你可以实现一个多线程的解决方案，就像这个问题的答案：Read and process files in parallel C#

如果您无法拆分文件，您可以考虑将多行（可能一次 1000 行）读入 List<string>，然后将该列表发送到 Task 进行处理。这样，您读取 1000 行，将它们发送到任务，而任务正在处理您读取接下来的 1000 行，等等。看看这个例子：http://msdn.microsoft.com/en-us/library/jj155756.aspx

最后，考虑将数据存储在数据库中，而不是 .csv 文件中。