为什么在这段代码中 CPU 运行速度比 GPU 快？

Question

我正在尝试使用gpuArray 来加快我的计算速度。但是，下面的代码并非如此。

for i=1:10
    calltest;
end

function [t1,t2]=calltest
N=10;
tic
u=gpuArray(rand(1,N).^(1./[N:-1:1]));
t1=toc
tic
u2=rand(1,N).^(1./[N:-1:1]);
t2=toc
end

我在哪里

t1 =

   4.8445e-05


t2 =

   1.4369e-05

我有一块 Nvidia GTX850M 显卡。我是否错误地使用了gpuArray？这段代码被包裹在一个函数里面，这个函数被循环调用了上千次。

Answer 1

为什么？
因为两者都有
a) 小问题规模
&
b) 不是“数学密集”的 GPU 内核

比较的方法模糊了问题的根源

第 0 步：将数据集（向量）创建与被测部分分开：

N = 10;
R = rand( 1, N );
tic; < a-gpu-based-computing-section>; GPU_t = toc
tic; c = R.^( 1. / [N:-1:1] );         CPU_t = toc

第一步：测试缩放：

只尝试 10 个元素，不会使观察变得清晰，因为 开销天真 formulation of Amdahl Law 没有明确强调增加的时间，花费在基于 CPU 的GPU 内核组装和传输 +（CPU 到 GPU + GPU 到 CPU）数据处理阶段。如果与
a) 一个真正大规模的矢量/矩阵 GPU 内核处理（N ~10 显然不是
或
b) 确实是“数学密集”的 GPU 内核处理，R.^() 显然不是
所以，
不要责怪 GPU 计算获得了必须做的部分（开销），因为如果没有这些先前的附加组件，它就无法正常工作（并且 CPU 可能在相同的时间内产生最终结果 - QED )

每个 CPU-GPU-CPU-工作流部分的细粒度测量：

N = 10;                                     %% 100, 1000, 10000, 100000, ..
tic; CPU_hosted     = rand( N, 'single' );  %% 'double'
CPU_gen_RAND        = toc

tic; GPU_hosted_IN1 = gpuArray( CPU_hosted );
GPU_xfer_h2d        = toc

tic; GPU_hosted_IN2 = rand( N, 'gpuArray' );
GPU_gen__h2d        = toc

tic; <kernel-generation-with-might-be-lazy-eval-deferred-xfer-setup>;
GPU_kernel_AssyExec = toc

tic; CPU_hosted_RES = gather( GPU_hosted_RES );
GPU_xfer_d2h        = toc