Theano - 潜在的内存泄漏

Question

我的前馈神经网络中的以下行计算 L2 正则化项：

self.L2_reg = tt.sum([tt.sum(P ** 2) for P in self.params])

P 在这里是一个常用的 theano 符号矩阵变量。训练期间内存使用量不断增加。 L1 范数也是如此。但是，当我根本不应用任何元素操作时，就没有内存问题：

self.L2_reg = tt.sum([tt.sum(P) for P in self.params]) 

怎么可能？我在 Windows 机器上使用 theano 0.9 和 Python 3.5。感谢您的帮助。

Answer 1

Theano 0.9.0 版有一个已知的内存泄漏问题。作为一种解决方法，您可以暂时回退到可以正常工作的 0.8.2 版本。