在训练期间修复神经网络中的权重子集

Question

我正在考虑创建一个定制的神经网络。基本结构和往常一样，但我想截断层之间的连接。例如，如果我构建一个包含两个隐藏层的网络，我想删除一些权重并保留其他权重，如下所示：

这不是传统的dropout（以避免过度拟合），因为应该指定和固定剩余的权重（连接）。

在python中有没有办法做到这一点？ TensorFlow、pytorch、theano 还是其他模块？

Answer 1

是的，你可以在 tensorflow 中做到这一点。

你的 tensorflow 代码中会有一些类似这样的层：

m = tf.Variable( [width,height] , dtype=tf.float32  ))
b = tf.Variable( [height] , dtype=tf.float32  ))
h = tf.sigmoid( tf.matmul( x,m ) + b )

你想要的是一些新的矩阵，我们称它为 k 表示 kill。它会杀死特定的神经连接。神经连接在 m 中定义。这将是您的新配置

k = tf.Constant( kill_matrix , dtype=tf.float32 )
m = tf.Variable( [width,height] , dtype=tf.float32  )
b = tf.Variable( [height] , dtype=tf.float32  )
h = tf.sigmoid( tf.matmul( x, tf.multiply(m,k) ) + b )

你的 kill_matrix 是一个 1 和 0 的矩阵。为每个要保留的神经连接插入 1，为每个要杀死的神经连接插入 0。