普通 Cuda 与 CuBLAS？

Question

只是出于好奇。 CuBLAS 是一个用于基本矩阵计算的库。但是，这些计算通常也可以很容易地用普通的 Cuda 代码编写，而无需使用 CuBLAS。那么，CuBLAS 库和您自己的 Cuda 程序用于矩阵计算的主要区别是什么？

Answer 1

出于多种原因，我们强烈建议开发人员在合适的时候使用 cuBLAS（或 cuFFT、cuRAND、cuSPARSE、thrust、NPP）：

• 我们在每个受支持的硬件平台上验证正确性，包括我们知道即将推出但可能尚未发布的平台。对于复杂的例程，完全有可能在一种架构（甚至一个芯片）上出现错误，而在其他架构上却没有。这甚至可能发生在编译器、运行时等的更改中。
• 我们测试我们的库在相同广泛的平台上的性能回归。
• 如果您发现它们，我们可以修复我们代码中的错误。我们很难用你的代码做到这一点:)
• 我们一直在寻找可以将哪些可重用且有用的功能位提取到库中 - 这可以为您节省大量的开发时间，并通过编写更高级别的 API 使您的代码更易于阅读。

老实说，在这一点上，我一方面可以指望实际实现自己的密集线性代数例程而不是调用 cuBLAS 的开发人员的数量。在学习 CUDA 时这是一个很好的练习，但对于生产代码，通常最好使用库。

（披露：我负责管理 CUDA 库团队）

Answer 2

您选择使用库而不是编写自己的实现有几个原因。三，在我的头顶：

1. 您不必编写它。别人替你做事，为什么还要工作？
2. 它将被优化。 NVIDIA 支持的库（例如 cuBLAS）可能会针对当前所有的 GPU 代进行优化，而后续版本将针对后续代进行优化。虽然大多数 BLAS 操作看起来很容易实现，但要获得最佳性能，您必须针对硬件进行优化（这不是 GPU 独有的）。例如，SGEMM 的简单实现可能比优化版本慢很多倍。
3. 他们倾向于工作。您在库中遇到错误的机会可能更少，然后您会在自己的实现中创建错误，当您将来更改某些参数或其他参数时会咬您。

以上内容不仅仅与 cuBLAS 相关：如果您有一个方法在受良好支持的库中，那么与使用您自己的实现相比，使用它可能会节省大量时间并获得大量性能。