将推力与 openmp 一起使用：没有获得实质性的加速

Question

我有兴趣将我主要使用 Thrust GPU 库编写的代码移植到多核 CPU。值得庆幸的是，the website 表示推力代码可用于 OpenMP / Intel TBB 等线程环境。

我在下面编写了一个简单的代码，用于对大型数组进行排序，以查看使用最多可支持 16 个 Open MP 线程的机器的加速。

在这台机器上对大小为 1600 万的随机数组进行排序得到的时序是

STL：1.47 秒
推力（16 线程）：1.21 秒

似乎几乎没有任何加速。我想知道如何像使用 GPU 一样使用 OpenMP 来大幅加快对数组进行排序的速度。

代码如下（文件 sort.cu）。编译如下：

nvcc -O2 -o sort sort.cu -Xcompiler -fopenmp -DTHRUST_DEVICE_SYSTEM=THRUST_DEVICE_BACKEND_OMP -lgomp

NVCC 版本是 5.5 使用的 Thrust 库版本是 v1.7.0

#include <iostream>
#include <iomanip>
#include <cmath>
#include <cstdlib>
#include <stdio.h>
#include <algorithm>    
#include <ctime>
#include <time.h>
#include "thrust/sort.h"    

int main(int argc, char *argv[])
{
  int N = 16000000;
  double* myarr = new double[N];

  for (int i = 0; i < N; ++i)
    {
      myarr[i] = (1.0*rand())/RAND_MAX; 
     }
  std::cout << "-------------\n";

  clock_t start,stop;
  start=clock();
  std::sort(myarr,myarr+N);
  stop=clock();

  std::cout << "Time taken for sorting the array with STL  is " << (stop-start)/(double)CLOCKS_PER_SEC;

  //--------------------------------------------

  srand(1);
  for (int i = 0; i < N; ++i)
    {
      myarr[i] = (1.0*rand())/RAND_MAX; 
      //std::cout << myarr[i] << std::endl;
     }

  start=clock();
  thrust::sort(myarr,myarr+N);
  stop=clock();

  std::cout << "------------------\n";


  std::cout << "Time taken for sorting the array with Thrust  is " << (stop-start)/(double)CLOCKS_PER_SEC;
  return 0;
}

Answer 1

device backend refers to the behavior of operations performed on a thrust::device_vector 或类似参考。 Thrust 将您传递的数组/指针解释为主机指针，并对其执行基于主机的操作，这些操作不受设备后端设置的影响。

有多种方法可以解决此问题。如果您阅读设备后端文档，您会发现一般示例和特定于 omp 的示例。我认为，您甚至可以指定一个不同的host backend，它应该具有您的代码所需的行为（OMP 使用）。

一旦你解决了这个问题，你可能会得到一个额外的惊喜结果：thrust 似乎可以快速对数组进行排序，但报告的执行时间很长。我相信这是由于the clock() function being affected by the number of OMP threads in use.

以下代码/示例运行解决了这些问题，并且似乎给了我约 3 倍的 4 线程加速。

$ cat t592.cu
#include <iostream>
#include <iomanip>
#include <cmath>
#include <cstdlib>
#include <stdio.h>
#include <algorithm>
#include <ctime>
#include <sys/time.h>
#include <time.h>
#include <thrust/device_ptr.h>
#include <thrust/sort.h>

int main(int argc, char *argv[])
{
  int N = 16000000;
  double* myarr = new double[N];

  for (int i = 0; i < N; ++i)
    {
      myarr[i] = (1.0*rand())/RAND_MAX;
     }
  std::cout << "-------------\n";

  timeval t1, t2;
  gettimeofday(&t1, NULL);
  std::sort(myarr,myarr+N);
  gettimeofday(&t2, NULL);
  float et = (((t2.tv_sec*1000000)+t2.tv_usec)-((t1.tv_sec*1000000)+t1.tv_usec))/float(1000000);

  std::cout << "Time taken for sorting the array with STL  is " << et << std::endl;;

  //--------------------------------------------

  srand(1);
  for (int i = 0; i < N; ++i)
    {
      myarr[i] = (1.0*rand())/RAND_MAX;
      //std::cout << myarr[i] << std::endl;
     }
  thrust::device_ptr<double> darr = thrust::device_pointer_cast<double>(myarr);
  gettimeofday(&t1, NULL);
  thrust::sort(darr,darr+N);
  gettimeofday(&t2, NULL);
  et = (((t2.tv_sec*1000000)+t2.tv_usec)-((t1.tv_sec*1000000)+t1.tv_usec))/float(1000000);

  std::cout << "------------------\n";


  std::cout << "Time taken for sorting the array with Thrust  is " << et << std::endl   ;
  return 0;
}

$ nvcc -O2 -o t592 t592.cu -Xcompiler -fopenmp -DTHRUST_DEVICE_SYSTEM=THRUST_DEVICE_BACKEND_OMP -lgomp
$ OMP_NUM_THREADS=4 ./t592
-------------
Time taken for sorting the array with STL  is 1.31956
------------------
Time taken for sorting the array with Thrust  is 0.468176
$

您的里程可能会有所不同。特别是，当您超过 4 个线程时，您可能看不到任何改进。可能有许多因素会阻止 OMP 代码扩展到超过一定数量的线程。排序通常是一种受内存限制的算法，因此您可能会观察到增加，直到您的内存子系统饱和，然后不会再增加内核。根据您的系统，您可能已经处于这种情况，在这种情况下，您可能看不到 OMP 样式多线程的任何改进。