【发布时间】:2019-03-29 02:16:30
【问题描述】:
我试图通过简单的测试计算找出为什么并行 foreach 不能在具有 32 个物理内核和 64 个逻辑内核的机器上提供预期的加速。
...
var parameters = new List<string>();
for (int i = 1; i <= 9; i++) {
parameters.Add(i.ToString());
if (Scenario.UsesParallelForEach)
{
Parallel.ForEach(parameters, parameter => {
FireOnParameterComputed(this, parameter, Thread.CurrentThread.ManagedThreadId, "started");
var lc = new LongComputation();
lc.Compute();
FireOnParameterComputed(this, parameter, Thread.CurrentThread.ManagedThreadId, "stopped");
});
}
else
{
foreach (var parameter in parameters)
{
FireOnParameterComputed(this, parameter, Thread.CurrentThread.ManagedThreadId, "started");
var lc = new LongComputation();
lc.Compute();
FireOnParameterComputed(this, parameter, Thread.CurrentThread.ManagedThreadId, "stopped");
}
}
}
...
class LongComputation
{
public void Compute()
{
var s = "";
for (int i = 0; i <= 40000; i++)
{
s = s + i.ToString() + "\n";
}
}
}
计算功能大约需要 5 秒才能完成。我的假设是,对于并行 foreach 循环,每次额外的迭代都会创建一个在其中一个内核上运行的并行线程,并且只需要计算一次 Compute 函数所需的时间。因此,如果我运行循环两次,然后使用顺序 foreach,则需要 10 秒,而并行 foreach 只需 5 秒(假设有 2 个内核可用)。加速比为 2。如果我运行循环 3 次,那么使用顺序 foreach 将需要 15 秒,但再次使用并行 foreach 只需 5 秒。加速比是 3,然后是 4、5、6、7、8 和 9。但是,我观察到的加速比恒定为 1.3。
Speedup, time of the sequential foreach divided by parallel foreach
FireOnParameterComputed 中触发的事件旨在用于 GUI 进度条以显示进度。在进度条中可以清楚地看到,每次迭代都会创建一个新线程。
我的问题是,为什么我没有看到预期的加速或至少接近预期的加速?
【问题讨论】:
-
您没有在此代码中并行化任何内容。您正在运行 same 方法,并行多次。如果
Compute需要 5 秒,在四台机器上并行运行 4 次仍然需要 5 秒。如果你不使用Parallel.Foreach虽然它需要 20' -
当然,如果你在双核机器上运行这个,尝试同时运行两个以上的实例并不会提高性能。毕竟一个核心一次只能运行一个线程
-
像这样连接字符串会导致大量的内存副本,这些字符串就像半兆字节。它的性能可以在多核的情况下有所提升,但远不及实际计算
-
@harold 计算代码不相关。真正的计算是复杂的模拟,需要几秒钟到几分钟才能完成并使用大量内存(数百兆字节)。我故意选择了连接字符串的低效方式来创建一个需要大量计算的简单循环。我运行它的服务器有 128GB 的主内存。
-
@Hubert 对于真实任务和这个假任务,如果它过于依赖诸如 LLC 带宽(或内存带宽)之类的共享资源,它仍然无法扩展对许多核心都很好。
标签: c# parallel.foreach