训练具有约束单元的神经网络答案

【问题标题】：Training a neural network with constrained units训练具有约束单元的神经网络
【发布时间】：2013-03-22 19:04:37
【问题描述】：

动机：

最先进的对象识别算法是通过反向传播训练的深度卷积神经网络，其中主要问题是让网络稳定在一个良好的局部最小值：http://books.nips.cc/papers/files/nips25/NIPS2012_0534.pdf

可以记录来自支持物体识别的神经元的大脑尖峰计数，并且可以合理地声称近似这些神经元响应的神经网络处于良好的局部最小值。 http://www.sciencedirect.com/science/article/pii/S089662731200092X

如果您要约束神经网络中的一个单元子集以再现特定输入的特定值（例如，为响应这些图像而从神经元记录的尖峰计数），然后通过约束梯度减少误差下降，它可能能够迫使网络稳定在一个好的局部最小值。

准确的问题：

鉴于网络中的某些神经元必须具有某些预定值，在最大限度减少误差的方向上改变神经网络权重的计算效率最高的方法是什么？

目前的进展：

这似乎是一个非常困难的拉格朗日乘数问题，在做了一些工作并搜索了有关该主题的现有文献后，我想知道是否有人听说过类似的工作。

【问题讨论】：

也许您可以通过标准反向传播训练受约束的神经元以产生所需的值，固定它们的权重，使它们只是一个复杂的特征提取器，然后通过反向传播仅训练上层进行分类。无论如何，这可能是一个有趣的研究课题。我很想看看你的论文。 :)
这样做的问题是没有足够的神经数据来避免在您建议的程序的第一步中过度拟合。但是，不固定权重可能是个好主意，然后在第 1 步和第 2 步之间交替。（第 1 步 = 训练受约束的神经元，第 2 步 = 训练分类）如果我能以某种方式确保这些步骤之间的交替会收敛到一个稳定的点，但也许最好的方法就是简单地尝试一下！
@dardila2 我知道这不是您问题的答案，但高斯突变可以轻松解决这个问题。你真的需要梯度下降方法吗？
您是否有引用或其他资源来理解高斯突变的含义？通常用于优化大型神经网络，经验证明梯度下降非常有效：这是我想尝试它的唯一原因。

标签： neural-network biological-neural-network

【解决方案1】：

您最好的选择是 Kullback-Liebler Divergence (KL)。它允许您设置您希望神经元接近的值。在python中，

def _binary_KL_divergence(p, p_hat):
    """
    Computes the a real, KL divergence of two binomial distributions with
    probabilities p  and p_hat respectively.
    """
    return (p * np.log(p / p_hat)) + ((1 - p) * np.log((1 - p) / (1 - p_hat)))

其中p 是约束值，p_hat 是样本的平均激活值（或神经元值）。就像将术语添加到目标函数一样简单。因此，如果算法最小化平方误差||H(X) - y||^2，则新形式将是||H(X) - y||^2 + KL_divergence_term。

作为成本函数的一部分，它会惩罚偏离p 的平均激活值，无论是更高还是更低（图 1）。权重如何更新取决于新目标函数的偏微分。

                     (Figure 1 : KL-Divergence Cost when `p = 0.2)

事实上，我从稀疏自动编码器中汲取了这个想法，更多细节可以在Lecture Notes on Sparse Autoencoders 看到。

祝你好运！

【讨论】：

我喜欢在损失中添加一个术语的想法，这实际上是我一直在尝试的，所以我现在将选择它作为答案。但是，为什么要使用 KL-Divergence 而不是平方误差或其他一些简单的指标？
KL-Divergence 的好处在于它的非对称性和稀疏性控制。我们可以从上图中观察到“p = 0.2”以下的值如何比较高的值受到更少的惩罚，这意味着它比我们使用更简单的正则化项更能鼓励稀疏性。其次，p 的值决定了我们想要多少稀疏度。对于不同的数据，需要不同的稀疏值。