【问题标题】:Parallel csv processing with LINQ使用 LINQ 并行处理 csv
【发布时间】:2013-07-17 15:30:30
【问题描述】:

我有一个函数可以读取 csv 文件并返回(通过 LINQ)操作的结果。我需要打开每个文件两次,因为我需要为不同的用途对数据进行非常不同的切片,并且使用我正在使用的 codeproject 上的“A Fast CSV Reader”更快地读取它两次并每次直接使用 LINQ 进行操作而不是将其读入 DataTable。

每个函数调用(imppow 或 impfuel)仅需要 2 秒多一点。

六个调用的简单 for 循环(需要 13 秒):

string[] pathstring = { @"C:\Temp\Hourly1.txt", @"C:\Temp\Hourly2.txt", @"C:\Temp\Hourly3.txt" };
string[] pathgran = { "M", "Q", "Y" };
for (int i=0; i < 3; i++)
{
     var respow = imppow(pathstring[i], pathgran[i]);
     Console.WriteLine(respow[0]);

     var resfuel = impfuel(pathstring[i], pathgran[i]);
     Console.WriteLine(resfuel[0]);
}

像这样并行化可以缩短 3 秒,但不会更多:

Parallel.For(0, 3, (i) =>
{
    var respow = imppow(pathstring[i], pathgran[i]);
    Console.WriteLine(respow[0]);

    var resfuel = impfuel(pathstring[i], pathgran[i]);
    Console.WriteLine(resfuel[0]);
});

如前所述,一次通话大约需要 2 秒。我可以通过使用多线程或某事来进一步降低运行时间吗? 谢谢。

以下功能之一:

static object[] impfuel(string filepath, string gran)
{  
    using (CsvReader csv =
           new CsvReader(new StreamReader(filepath), true))
    {
        csv.SupportsMultiline = false;
        var results = csv.Select(r => new { yr = r[1], qr = r[3], mt = r[4], tar = r[7], mac = r[8], fuel = r[9], rg = r[10], rt = r[11], fp = r[22], fi = r[24] })
                         .Where(a => a.rt == "F")
                         .GroupBy(a => new { a.rg, a.fuel, a.tar, a.mt })
                         .Select(g => new { Rpg = g.Select(a => a.rg).First(), Fue = g.Select(a => a.fuel).First(), Tari = g.Select(a => a.tar).First(), Mon = g.Select(a => a.mt).First(), AverageA = g.Average(a => double.Parse(a.fp)), SumA = g.Sum(a => double.Parse(a.fi)) })
                         .ToArray();
        return results;
    }
}

static object[] imppow(string filepath, string gran)
{  
using (CsvReader csv =
       new CsvReader(new StreamReader(filepath), true))
{
    csv.SupportsMultiline = false;
    var results = csv.Select(r => new { yr = r[1], qr = r[3], mt = r[4], tar = r[7], mac = r[8], rg = r[10], rt = r[11], pp = r[17], pi = r[19] })
                     .Where(a => a.rt == "M")
                     .GroupBy(a => new { a.rg, a.tar, a.mt })
                     .Select(g => new { Rpg = g.Select(a => a.rg).First(), Tari = g.Select(a => a.tar).First(), Mon = g.Select(a => a.mt).First(), AverageA = g.Average(a => double.Parse(a.pp)), SumA = g.Sum(a => double.Parse(a.pi)) })
                     .ToArray();
    return results;
}

}

【问题讨论】:

  • 你能在内存中缓存文件并使用 MemoryStreams 吗?消除文件 I/O 可能会有所帮助。
  • Parallel.For() 正在使用多个线程(如果必要且可用)
  • 感谢丹!你有链接或样本吗?从未使用过内存流
  • 你的 CPU 有多少个内核?
  • 看起来你在 CPU 上做的工作很少——你可能受 I/O 限制。两次读取文件可能也无济于事。

标签: c# linq csv


【解决方案1】:

您从不告诉文件的大小,是几千字节还是我们所说的兆字节? 一次读取文件会限制慢速 IO。

我会读取文件一次,在读取文件时我会将内容放入两个不同的列表中。

string[] pathstring = { @"C:\Temp\Hourly1.txt", @"C:\Temp\Hourly2.txt", @"C:\Temp\Hourly3.txt" };
for (int i=0; i < 3; i++)
{
     List<Content> powList = new List<Content>();
     List<Content> fuelList = new List<Content>();
     ReadFile(pathstring[i], ref powList, ref fuelList);
     var respow = imppow(powList);
     Console.WriteLine(respow[0]);

     var resfuel = impfuel(fuelList);
     Console.WriteLine(resfuel[0]);
}

void ReadFile(string filepath, ref List<Content> powList, ref List<Content> fuelList)
{
    using (CsvReader csv = new CsvReader(new StreamReader(filepath), true))
    {
        csv.SupportsMultiline = false;
        foreach(Content content in csv.Select(r => new Content(){ yr = r[1], qr = r[3], mt = r[4], tar = r[7], mac = r[8], fuel = r[9], rg = r[10], rt = r[11], pp = r[17], pi = r[19], fp = r[22], fi = r[24] }))
        {
           if (content.rt == "F")
               fuelList.Add(content);
           else if (content.rt = "M")
               powList.Add(content);
        }
    }
}

static object[] impfuel(List<Content> fuelList)
{  
    var results = fuelList.GroupBy(a => new { a.rg, a.fuel, a.tar, a.mt })
                     .Select(g => new { Rpg = g.Select(a => a.rg).First(), Fue = g.Select(a => a.fuel).First(), Tari = g.Select(a => a.tar).First(), Mon = g.Select(a => a.mt).First(), AverageA = g.Average(a => double.Parse(a.fp)), SumA = g.Sum(a => double.Parse(a.fi)) })
                     .ToArray();
    return results;
}

}

您可以自己制作 imppow 和 Content 类。

【讨论】:

  • 感谢您的回答。对不起,我应该提到:1 个文件是 60 兆,我们说的是 500,000 行和 26 列。我会试试你的答案,看看它有多快
  • 如果你想让它成为多线程的,你可以 ReadFile 并运行 impfuel 和 imppow 并行,例如async 和 await(搜索 SO 以获取如何执行此操作的示例。)
  • @casperah:谢谢!这可以工作并将其再降低一秒钟,所以我从 12-13 秒开始,我的并行读取文件 6 次是 8,您将其存储到两个列表中的方法将其降低到 7。我将尝试包括 async 和 await现在看看这是否能再减少一秒钟......
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-07-28
  • 2017-10-27
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多