GPU 计算：小批量梯度下降需要多少 VRAM？

【问题标题】：GPU computing: how much VRAM do I need for mini batch gradient descent?GPU 计算：小批量梯度下降需要多少 VRAM？
【发布时间】：2016-09-15 20:33:21
【问题描述】：

我想使用 NVIDIA 卡进行一些 GPU 计算，并且正在决定使用具有 2GB 或 4GB 内存的 GTX 960。我应该拿哪一个？这些对我可以用于小批量梯度下降的批量大小有多大影响？这种差异会很大吗？

感谢您的回答。

【问题讨论】：

标签： machine-learning nvidia gpu

【解决方案1】：

成本最高的操作之一是将数据传入/传出 GPU 设备。因此，如果您预计使用大于 2GB 的数据集，更大的内存将有很大的好处。您可以一次存储大块数据（一些小批量大小的倍数），和/或如果需要频繁评估，可能存储整个保留数据集。当然，您总是可以使用异步复制到/从 gpu（如果设备支持它）或其他 optimizations 并且当然可以使用较小的内存；但是，这会增加一些额外的复杂性，并且您使用的任何工具包（如果适用）可能无法利用此功能。

【讨论】：