cudaStreamSynchronize 在 cuda 中用于单个流

Question

我对 CUDA 流感到困惑。我了解到cudaStreamSynchronize() 会等待特定流的 GPU 操作完成。对于一个流，如果我们调用了 2 个内核，内核将按顺序执行；也就是说，对于一个流，第一个内核将被执行，下一个内核只有在第一个内核完成后才会执行。

我想问的是，如果我们只有一个流，是否有必要同步流？ 无论我们是否为单个流同步它，它都不会按顺序执行吗？

Answer 1

是的，向同一流（默认流或任何流）发出的 cuda 调用会按顺序执行。它们是序列化的。

对于某些特定情况，您可能仍会向该流发出同步命令，在这些情况下您希望等待 GPU 活动完成，然后再执行一些 CPU 代码。例如，在内核调用之后立即发出的 CPU 代码或在 cudaMemcpyAsync 之后立即发出的 CPU 代码通常会与前面的 (cuda) 调用同时执行。

一个特定的情况可能是用于 cuda 错误检查。另一个特定情况可能是，如果您在零拷贝固定内存中异步进行一些 CPU/GPU 数据交换（无需发出明确的cudaMemcpy... 调用）。

但是当发布到同一个流时，通常不需要显式同步通常 cudaMemcpyAsync...kernel call...cudaMemcpyAsync 模式的 cuda 调用。信息流会为您做到这一点。