在 GeForce 或 Quadro GPU 之间进行选择以通过 TensorFlow 进行机器学习答案

【问题标题】：Choosing between GeForce or Quadro GPUs to do machine learning via TensorFlow在 GeForce 或 Quadro GPU 之间进行选择以通过 TensorFlow 进行机器学习
【发布时间】：2016-04-15 09:06:28
【问题描述】：

如果使用 Quadro GPU 和 GeForce GPU，TensorFlow 的性能有什么明显差异吗？

例如它是否使用双精度运算或其他会导致 GeForce 卡下降的东西？

我即将为 TensorFlow 购买 GPU，想知道 GeForce 是否可以。感谢并感谢您的帮助

【问题讨论】：

这 100% 不是基于意见的。
这个问题不是基于意见的，tensorflow是一个特定的应用程序，这些卡之间存在特定的硬件差异。该问题甚至指出了主要差异之一，并询问编程库是否使用该技术。

标签： machine-learning gpu gpgpu tensorflow

【解决方案1】：

我认为 GeForce TITAN 很棒，并且广泛用于机器学习 (ML)。在 ML 中，在大多数情况下，单精度就足够了。

有关 GTX 系列（当前为 GeForce 10）性能的更多详细信息，请参阅 Wikipedia，here。

网络上的其他来源支持这一说法。这是引用from doc-ok in 2013 (permalink)。

相比之下，700 美元的“入门级”Quadro 4000 比 530 美元的高端 GeForce GTX 680 慢得多，至少根据我使用多个 Vrui 应用程序的测量结果，并且性能最接近 GeForce GTX 680我可以找到一台 Quadro 6000，售价高达 3660 美元。

特定于 ML，包括深度学习，有一个 Kaggle forum discussion dedicated to this subject（2014 年 12 月，permalink），用于比较 Quadro、GeForce 和 Tesla 系列：

Quadro GPU 不适用于科学计算，Tesla GPU 可以。夸德罗卡是为加速 CAD 而设计的，因此它们不会帮助您训练神经网络。它们可能仅用于此目的很好，但这是浪费钱。

特斯拉卡用于科学计算，但它们往往很漂亮昂贵的。好消息是特斯拉提供的许多功能 GeForce 卡上的卡不是训练神经网络所必需的。

例如，特斯拉卡通常有 ECC 内存，这很好有但不是要求。他们也有更好的支持双精度计算，但单精度足够神经网络训练，它们的性能与 GeForce 大致相同卡片。

特斯拉卡的一个有用功能是它们往往拥有很多比同类 GeForce 卡更多的 RAM。更多的 RAM 总是受欢迎的，如果您计划训练更大的模型（或使用 RAM 密集型计算，如基于 FFT 的卷积）。

如果您在 Quadro 和 GeForce 之间进行选择，请务必选择 GeForce。如果您在 Tesla 和 GeForce 之间进行选择，请选择 GeForce，除非你有很多钱并且真的可以使用额外的 RAM。

注意：请注意您正在使用的平台以及其中的默认精度。例如，here in the CUDA forums（2016 年 8 月），一位开发人员拥有两台 Titan X（GeForce 系列），并且在他们的任何 R 或 Python 脚本中都没有看到性能提升。这被诊断为 R 默认为双精度的结果，并且在新 GPU 上的性能比它们的 CPU（至强处理器）更差。 Tesla GPU 被认为是双精度的最佳性能。在这种情况下，将所有数字转换为 float32 可以提高性能，从 12.437s 与 nvBLAS 0.324s 与 gmatrix+float32s 在一个 TITAN X 上（见第一个基准）。引用此论坛讨论：

Titan X 的双精度性能相当低。

【讨论】：

“Quadro GPU 不用于科学计算，Tesla GPU 是”+1
但是 quadros 有 24 GB GPU 内存，这对于未来的深度学习模型来说非常有用。为什么没有人提到？还是它真的太慢了，根本不值得
是的，在速度方面，quadro 不是那么好，但深度学习模型的限制因素往往是你可以在显卡内存中填充的数据量。速度较慢的 GPU 不应该更快地处理更大的训练批次吗？
@Guy Coder 不完全同意。重要的是底层芯片，特斯拉、quadro 或 GeForce 之间通常完全相同。 Tesla 可能拥有的唯一优势是更多的 RAM 和 ECC RAM。