C++ AMP 很慢

Question

我在 C++ 中有以下代码：

float Neuron::feedForward(std::vector<Neuron>& previousLayer){
float sum=0.0f;
for(int i=0;i<(int)previousLayer.size();i+=1){
    sum+=previousLayer[i].getOutput()*weigths[i];
}
output=Neuron::transferFunction(sum);
return output;

};

我转换成这个：

float Neuron::feedForward(std::vector<Neuron>& previousLayer){
float sum=0.0f;
extent<1> e((int)previousLayer.size());

std::vector<float> ops(previousLayer.size());
for (int i = 0; i<(int)previousLayer.size(); i += 1) {
    ops[i] = previousLayer[i].getOutput();
}

array_view<const float, 1>_outputs(e, ops);
array_view<const float, 1>_weigths(e, weigths);
array_view<float> _sum(e);
_sum.discard_data();


parallel_for_each(e, [=](index<1> idx) restrict(amp) {
    _sum[idx] = _outputs[idx] * _weigths[idx];

});

for (int i = 0; i < e[0]; i += 1) {
    sum += _sum[i];
}

output=Neuron::transferFunction(sum);
return output;

};

现在程序运行代码非常慢。不仅慢了几毫秒，而且实际上慢了几秒。

我还尝试在 AMP 代码中添加总和（仅更改）：

array_view<float> _sum(1);
_sum.discard_data();

...

parallel_for_each(e, [=](index<1> idx) restrict(amp) {
_sum[0] += _outputs[idx] * _weigths[idx];

});

...

/*for (int i = 0; i < e[0]; i += 1) {
sum += _sum[i];
 }
 */

output=Neuron::transferFunction(_sum[0]);

但最后，代码就是这样：太慢了，我用手动计算器会更快。现在的问题是：为什么？我想如果我有一个 2000 权重的神经元，让 GPU 计算一切会很棒。我错过了什么，还是我必须学习 OpenCL 或 CUDA？

PS。慢动作真的很糟糕。就像它需要超过 100 000 倍的时间（同时我可以计算 20 000 个神经网络 10 次，我可以使用 AMP 计算 2 个完全相同的网络）。

Answer 1

您使用sum[0] 的代码几乎肯定会给出不正确的结果，因为许多线程同时更新sum[0]。

简单的实现应该可以工作，但效率非常低，因为将数据移入和移出 GPU 需要大量的复制开销，而且您只进行很少的计算。

但是，由于它像您说的那么慢，您似乎在 CPU 上的 WARP 加速器上运行。您可以使用以下代码查看可用的加速器。

https://ampbook.codeplex.com/SourceControl/latest#Samples/ShowAmpDevices/ShowAmpDevices.cpp

你在这里做的是减少。有很多文章介绍了如何在 GPU 上有效地做到这一点。您可以在此处找到显示几种不同实现的 C++AMP 代码：

C++ AMP: Accelerated Massive Parallelism with Microsoft Visual C++ 在 CodePlex 上。

随代码一起的书中对它们进行了全面解释。