Python Threading 执行时间不一致

Question

• 使用threading 库加速计算点云中每个点的邻域。通过在帖子底部调用函数CalculateAllPointsNeighbors。
  该函数接收搜索半径、最大邻居数和拆分工作的线程数。没有对任何点进行任何更改。每个点将数据存储在其自己的np.ndarray 单元格中，由其自己的索引访问。

• 以下函数计算N线程数完成计算所有点邻域所需的时间：

  def TimeFuncThreads(classObj, uptothreads):
      listTimers = []
  
      startNum = 1
      EndNum = uptothreads + 1
  
      for i in range(startNum, EndNum):
          print("Current Number of Threads to Test: ", i)
          tempT = time.time()
          classObj.CalculateAllPointsNeighbors(searchRadius=0.05, maxNN=25, maxThreads=i)
          tempT = time.time() - tempT
          listTimers.append(tempT)
  
      PlotXY(np.arange(startNum, EndNum), listTimers)
  

  • 问题是，我在每次运行中都得到了非常不同的结果。以下是函数 TimeFuncThreads 的 5 次后续运行的图。 X 轴是线程数，Y 是运行时。 首先，它们看起来完全随机。其次，没有显着的加速提升。

我现在很困惑我是否使用了 threading 库错误以及我得到的这种行为是什么？

---

• 处理线程的函数和从每个线程调用的函数：

  def CalculateAllPointsNeighbors(self, searchRadius=0.20, maxNN=50, maxThreads=8):

      threadsList = []
      pointsIndices = np.arange(self.numberOfPoints)
      splitIndices = np.array_split(pointsIndices, maxThreads)
  
      for i in range(maxThreads):
          threadsList.append(threading.Thread(target=self.GetPointsNeighborsByID,
                                              args=(splitIndices[i], searchRadius, maxNN)))
  
      [t.start() for t in threadsList]
      [t.join() for t in threadsList]
  
  
  
  def GetPointsNeighborsByID(self, idx, searchRadius=0.05, maxNN=20):
      if isinstance(idx, int):
          idx = [idx]
  
      for currentPointIndex in idx:
          currentPoint = self.pointsOpen3D.points[currentPointIndex]
          pointNeighborhoodObject = self.GetPointNeighborsByCoordinates(currentPoint, searchRadius, maxNN)
          self.pointsNeighborsArray[currentPointIndex] = pointNeighborhoodObject
          self.__RotatePointNeighborhood(currentPointIndex)
  

Answer 1

成为向您介绍Python Gil 的人让我很痛苦。是一个非常好的特性，它使在 Python 中使用线程的并行性成为一场噩梦。

如果你真的想提高你的代码速度，你应该看看the multiprocessing module