【问题标题】:iterate over a vector using multiple threads (no data sharing, or vector modification)使用多个线程迭代向量(无数据共享或向量修改)
【发布时间】:2015-05-08 07:18:34
【问题描述】:

我有一个很大的对象向量,我只需要使用多个线程迭代向量并读取对象(不修改数据或向量)。最有效的方法是什么?是否可以以无锁方式完成,也许使用原子变量?这种多线程进程最容易阅读的实现是什么?

编辑: 我不希望多个线程读取向量的相同元素(在这种情况下读取很耗时)。当一个线程正在读取一个元素时,我希望下一个线程读取第一个尚未读取的元素。例如,当线程 1 正在读取对象 1 时,我希望线程 2 读取对象 2。只要其中一个完成,它就可以读取对象 3,依此类推。

【问题讨论】:

  • 如果没有修改,则直接读取数据。仅当一个线程修改它而另一个线程可能正在访问它时,您才需要同步或原子性。
  • 我不希望多个线程读取向量的同一个元素(在这种情况下读取很耗时)。当一个线程正在读取一个元素时,我希望下一个线程读取第一个尚未读取的元素。例如,当线程 1 正在读取对象 1 时,我希望线程 2 读取对象 2。只要其中一个完成,它就可以读取对象 3,依此类推。
  • 你能给每个线程一个不同的向量范围吗?
  • 然后将其拆分为更小的块并使用基于任务的方法。如果一个线程完成了它的任务,它就会从下一个块开始。也许使用std::async 或您自己的线程池。
  • 您可以同步一个保存下一个可用索引的变量并在所有线程之间共享它。然后每个线程获取变量的值,并在下一次从向量中读取时将其更新。

标签: c++ multithreading iteration


【解决方案1】:

将输入分成等份真的很容易,它不使用锁,也不会导致内存共享。所以尝试一下,测量每个线程需要完成多少时间,并检查它是否存在相关差异。

如果差异是相关的,请考虑使用每个元素一个atomic<bool> 的数组,在读取一个元素之前,线程在与该元素相关的标志上执行compare_exchange_strong(我认为您甚至可以使用memory_order_relaxed,但首先使用memory_order_acq_rel,如果性能不满足您只尝试放松)并且只有在交换成功时才实际处理元素。否则它会尝试下一个元素,因为有人正在处理或已经处理了当前元素。

如果不能,则可以使用单个atomic<int> 来存储要处理的下一个元素的索引。线程只需使用fetch_add 或后缀++ 原子地获取下一个要处理的元素并递增计数器(内存排序的注意事项与上述相同)。如果读取时间的差异很大(由步骤 1 确定),那么您对原子变量的争用就会很低,因此它会表现良好。

如果争用仍然太高,并且您的速度明显变慢,请尝试提前估计读取一个元素需要多长时间。如果可以,则按估计的读取时间对向量进行排序,并让第 n 个线程读取每个第 n 个元素,这样负载将更均匀地分配。

【讨论】:

  • 无论如何,不​​要使用锁,因为你不需要它。在我的电脑上,仅在 500 个线程上增加一个原子变量比增加一个由锁保护的非原子变量快 5 倍。
  • 谢谢朱利奥。这就是我要找的东西!
猜你喜欢
  • 2014-10-31
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-08-29
  • 1970-01-01
  • 2016-09-20
  • 2018-07-09
相关资源
最近更新 更多