【发布时间】:2013-07-17 15:30:30
【问题描述】:
我有一个函数可以读取 csv 文件并返回(通过 LINQ)操作的结果。我需要打开每个文件两次,因为我需要为不同的用途对数据进行非常不同的切片,并且使用我正在使用的 codeproject 上的“A Fast CSV Reader”更快地读取它两次并每次直接使用 LINQ 进行操作而不是将其读入 DataTable。
每个函数调用(imppow 或 impfuel)仅需要 2 秒多一点。
六个调用的简单 for 循环(需要 13 秒):
string[] pathstring = { @"C:\Temp\Hourly1.txt", @"C:\Temp\Hourly2.txt", @"C:\Temp\Hourly3.txt" };
string[] pathgran = { "M", "Q", "Y" };
for (int i=0; i < 3; i++)
{
var respow = imppow(pathstring[i], pathgran[i]);
Console.WriteLine(respow[0]);
var resfuel = impfuel(pathstring[i], pathgran[i]);
Console.WriteLine(resfuel[0]);
}
像这样并行化可以缩短 3 秒,但不会更多:
Parallel.For(0, 3, (i) =>
{
var respow = imppow(pathstring[i], pathgran[i]);
Console.WriteLine(respow[0]);
var resfuel = impfuel(pathstring[i], pathgran[i]);
Console.WriteLine(resfuel[0]);
});
如前所述,一次通话大约需要 2 秒。我可以通过使用多线程或某事来进一步降低运行时间吗? 谢谢。
以下功能之一:
static object[] impfuel(string filepath, string gran)
{
using (CsvReader csv =
new CsvReader(new StreamReader(filepath), true))
{
csv.SupportsMultiline = false;
var results = csv.Select(r => new { yr = r[1], qr = r[3], mt = r[4], tar = r[7], mac = r[8], fuel = r[9], rg = r[10], rt = r[11], fp = r[22], fi = r[24] })
.Where(a => a.rt == "F")
.GroupBy(a => new { a.rg, a.fuel, a.tar, a.mt })
.Select(g => new { Rpg = g.Select(a => a.rg).First(), Fue = g.Select(a => a.fuel).First(), Tari = g.Select(a => a.tar).First(), Mon = g.Select(a => a.mt).First(), AverageA = g.Average(a => double.Parse(a.fp)), SumA = g.Sum(a => double.Parse(a.fi)) })
.ToArray();
return results;
}
}
static object[] imppow(string filepath, string gran)
{
using (CsvReader csv =
new CsvReader(new StreamReader(filepath), true))
{
csv.SupportsMultiline = false;
var results = csv.Select(r => new { yr = r[1], qr = r[3], mt = r[4], tar = r[7], mac = r[8], rg = r[10], rt = r[11], pp = r[17], pi = r[19] })
.Where(a => a.rt == "M")
.GroupBy(a => new { a.rg, a.tar, a.mt })
.Select(g => new { Rpg = g.Select(a => a.rg).First(), Tari = g.Select(a => a.tar).First(), Mon = g.Select(a => a.mt).First(), AverageA = g.Average(a => double.Parse(a.pp)), SumA = g.Sum(a => double.Parse(a.pi)) })
.ToArray();
return results;
}
}
【问题讨论】:
-
你能在内存中缓存文件并使用 MemoryStreams 吗?消除文件 I/O 可能会有所帮助。
-
Parallel.For() 正在使用多个线程(如果必要且可用)
-
感谢丹!你有链接或样本吗?从未使用过内存流
-
你的 CPU 有多少个内核?
-
看起来你在 CPU 上做的工作很少——你可能受 I/O 限制。两次读取文件可能也无济于事。