【发布时间】:2010-07-06 06:11:22
【问题描述】:
我有一个 .net 应用程序,它在 20 到 30 个 SQL 查询的区域中运行,并一次处理 1 个结果。我一直在尝试通过并行执行一些工作来提高性能。
其中 2 个查询占用了 75% 的时间,这纯粹是因为它们返回的数据量。我最初的实验是尝试使用 ntile 将这些查询分成 4 个存储桶,并并行处理每个数据读取器。如果这需要更长的时间,我认为是因为使用 NTILE + 查询数据库 4 次而不是 1 次所涉及的额外工作。
任何人都可以建议尝试其他技术还是我只是在这里浪费时间?下面的代码是实用程序类的一部分,它允许我将处理阅读器的函数排队。因此,使用我的 NTILE 实验,我将 4 个任务排队,每个任务处理 1/4 的数据(其中 ntile =1、2、3、4)并调用 Execute 以并行运行它们。
foreach (var keyValuePair in m_Tasks)
{
var sql = keyValuePair.Key;
var task = keyValuePair.Value;
var conn = new OracleConnection(ConnectionString);
conn.BeginOpen(o=> {
conn.EndOpen(o);
var cmd = conn.CreateCommand();
cmd.CommandText = sql;
cmd.BeginExecuteReader(a =>
{
var reader = cmd.EndExecuteReader(a);
DateTime endIO = DateTime.Now;
Console.WriteLine(TaskName + " " + Thread.CurrentThread.ManagedThreadId + " IO took: " + (endIO - startTime) + " ended at " + endIO);
DateTime taskStart = DateTime.Now;
task(reader);
DateTime endTAsk = DateTime.Now;
Console.WriteLine(TaskName + " " + Thread.CurrentThread.ManagedThreadId + " TAsk took: " + (endTAsk - taskStart) + " ended at " + endTAsk);
reader.Close();
conn.Close();
if (Interlocked.Decrement(ref numTasks) == 0)
{
finishedEvent.Set();
}
}, null);
},
null
);
}
finishedEvent.WaitOne();
DateTime endExecute = DateTime.Now;
Console.WriteLine(TaskName + " " + Thread.CurrentThread.ManagedThreadId + " EXECUTE took: " + (endExecute - startTime) + " ended at " + endExecute);
}
感谢您的帮助。
【问题讨论】:
-
而不是将阅读器传递给您的任务,在读取数据之前不会推进阅读器,您可能希望先将所有数据读入内存(如果可能),然后使用多个线程之后处理数据。还要记住,正在完成的工作应该超过启动新线程的时间。如果您可以独立处理每条记录,那么您可以在读取每条记录后将其传递给工作线程,从而防止您的阅读器阻塞。
-
嗨,米凯尔。您的意思是使用数据集然后排队作业来处理每条记录吗?我正在处理大量数据,所以如果可能的话,我宁愿使用 DataReader。
-
Mikael,如果他的问题是 I/O 限制的,那不是只会让事情变得更糟吗?
-
如果我的问题是 I/O 绑定问题,是否有任何线程帮助或我只是在浪费时间?
-
Neil - 以下任何想法(ROWID 上的 NTILE,MOD Id 上的功能索引)是否对您有用 - 如果是这样,我很高兴将其写成更正式的答案而不是评论。
标签: c# .net sql oracle multithreading