并行求和一个数组

Question

我有以下算法对数组元素求和：

// global
index = 0
array = [...]
total_sum = 0 // this is what we're interested in

// per thread
thread_sum = 0
mutex.lock()
while (index < array.size) {
  mutex.unlock()

  thread_sum += array[index]

  mutex.lock()
  index++
}
total_sum += thread_sum
mutex.unlock()

每个线程都运行相同的代码，并在完成后立即加入主线程。问题是有时不止一个线程添加相同的数字。这是怎么发生的？

原始代码是 C++ 并使用 std::vector/thread/mutex/ref。

Answer 1

在释放锁之前增加index，否则多个线程可能看到相同的值：

// per thread
thread_sum = 0
mutex.lock()
while (index < array.size) {
  i = index++
  mutex.unlock()

  thread_sum += array[i]

  mutex.lock()
}
total_sum += thread_sum
mutex.unlock()

再一次，如果您使用atomic integers，原子地更改整数的值可以更有效地完成。

最后考虑在单个工作负载很小或非常可预测时进行批处理，以减少同步的开销。