如何处理 NVIDIA 显卡中的 ECC 支持功能答案

【问题标题】：How to deal with the ECC support feature in NVIDIA graphics cards如何处理 NVIDIA 显卡中的 ECC 支持功能
【发布时间】：2014-09-07 10:15:53
【问题描述】：

服务器设置了两个NVIDIA K20m 卡，但启用了ECC。我观察到使用nvidia-smi -a 命令时Volatile GPU-Utilization 很高，即使卡中没有运行任何计算任务。 K20m 仅用于计算。我搜索了Google，并检查了以下链接：https://devtalk.nvidia.com/default/topic/539632/k20-with-high-utilization-but-no-compute-processes-/ 和https://devtalk.nvidia.com/default/topic/464744/how-to-disable-enable-ecc-on-c2050-/

似乎ECC 总是一个不好的功能，所以它总是设置为disabled。那么ECC 的真正含义是什么？我只是该服务器的普通用户，因此我无权使用命令nvidia-smi -e 0 将ECC 设置为禁用。普通用户是否可以将ECC 设置为禁用？

关闭ECC会有什么影响？我们应该什么时候开启它？什么时候关闭？

【问题讨论】：

标签： cuda nvidia

【解决方案1】：

在运行nvidia-smi 时，即使没有其他计算任务正在运行，GPU 利用率也可能变为非零。这与 ECC 无关。

那么 ECC 的真正含义是什么？

ECC 是Error Correcting Code。它不是 GPU 独有的。在 GPU 上，它是一种使用额外内存位来存储错误信息的功能，因此如果内存子系统中发生（特别严重的）错误，它可以被检测和报告，或者被检测和纠正。

普通用户是否可以设置禁用ECC？

禁用 ECC 需要 linux 上的 root 权限。

我们关闭ECC会有什么影响？

GPU 应用程序的可用带宽和内存大小可能/将会增加。如果您关闭 ECC 并且发生内存子系统错误，您将不会收到明确的通知。错误可能会产生任何影响，从根本没有影响到应用程序完全崩溃，具体取决于发生错误的上下文。

我们应该什么时候打开它？什么时候关闭？

当您想要防止内存损坏错误时打开它。如果您想要最大性能（例如用于基准测试）或者您认为您的应用程序可以容忍内存错误（例如您检查结果的有效性并且您不介意重新运行由于某种原因失败的应用程序），请将其关闭。）

请注意，一些具有 HBM (HBM2) 内存的较新 GPU 可能具有somewhat different characteristics。由于 HBM2 内存的设计，启用 ECC 通常会导致很少或没有性能损失（带宽）并且不会减少内存大小。对于具有 HBM2 内存的 GPU，一般建议是始终开启 ECC。

【讨论】：

谢谢您，先生。事实上，我只是发现如果 valatile GPU-utilization 高，系统的响应非常慢。而且当我将作业提交到集群中时，调度程序将作业分配到具有 GPU 的计算节点中，然后该过程也开始缓慢。所以我想知道是否有任何配置错误。 SDK 是 CUDA-6.0，驱动程序也是如此。
我在那些有GPU的计算节点上进行了测试，发现有些机器对GPU使用请求的响应很慢，但其他的都可以。所以我想弄清楚问题是什么。在一个节点上，lspci 显示已设置两个K20m GPU，但是当我使用nvidia-smi 时，它说找不到它们并输出“无法确定 GPU 0000:81 的设备句柄： 00.0'。我想我也应该向集群管理员寻求帮助。谢谢！
是否可以在没有 GPU 卡的情况下禁用 ECC？即我在没有 GPU 的机器上构建图像，但是当我使用图像时，机器将有一个 GPU，我希望此时禁用 ECC。现在我不能在启动时这样做，因为我必须重新启动 GPU 盒。
必须以编程方式打开和关闭 ECC。通常这意味着 GPU 必须存在，您可以使用nvidia-smi 命令行工具在相关 GPU 上启用或禁用它。您也许可以使用 NVML 库执行类似的功能，我还没有彻底研究过。如果是这种情况，那么它将允许您编译程序并使用 NVML 打开和关闭 ECC。但是，在进行程序/更改后，打开和关闭 ECC 需要重新启动。
嗨@RobertCrovella，我还有一个问题：深度学习应用程序中具有 16x/16x 的 2-way SLI 和具有 8x/8x 的 2-way SLI 之间有什么区别吗？第二种模式，GPU的吞吐量是受带宽限制的，是吗？谢谢。