如何减少 Tensorflow 中训练模型中的内核/过滤器数量？

Question

如果我有一个经过训练的模型，我想重新训练相同的模型，并从现有模型中删除一些过滤器/内核。例如

conv1 = tf.get_variable('conv1_1', shape=(11, 11, 3, 64), initializer=tf.contrib.layers.xavier_initializer()),

我想调整这个张量的大小，使其具有 (11, 11, 3, 20) 的形状，但名称和位置相同，意味着完全相同的变量。提前感谢您的帮助。

我已经尝试过tf.reshape，但它给了我不匹配 a 和 b 中的元素数量的错误 我也试过tf.assign(a,b, validate_shape=false)

self.weights = {
    'conv1_': tf.get_variable('conv1_l1', shape=(11, 11, 3, 64), initializer=tf.contrib.layers.xavier_initializer()),
    'conv2_': tf.get_variable('conv2_l1', shape=(7, 7, 64, 128), initializer=tf.contrib.layers.xavier_initializer())
}

Answer 1

我知道Tensorflow只执行静态图，所以过滤器的数量不能改变（形状可以改变），这方面PyTorch很有帮助，它可以执行动态图。 我通过创建一个新图表并将所需过滤器的值复制到新图表中并丢弃选定的过滤器来解决此问题。

Answer 2

从根本上说，您正在更改模型的参数数量。当你离开时

conv1 = tf.get_variable('conv1_1', shape=(11, 11, 3, 64), initializer=tf.contrib.layers.xavier_initializer())

到

conv2 = tf.get_variable('conv2_l1', shape=(11, 11, 3, 20), initializer=tf.contrib.layers.xavier_initializer())

您的可学习参数从 {Kernel x 64} 变为 {Kernel x 20} 这将要求您重新训练网络并学习其新权重。

但是，这是一个已演变为研究领域的常见问题。为此已经提出了许多方法，例如权重的低秩近似（Denton 等人，2014；Lebedev 等人，2014）、权重量化（Courbariaux 等人，2016；Rastegari 等人，2016）、知识蒸馏（Hinton et al., 2014; Romeroet al., 2015）和网络剪枝（Han et al., 2015; Li et al., 2017），其中网络剪枝因其具有竞争力的性能和兼容性而备受关注。

参考探索：

1. Emily L Denton、Wojciech Zaremba、Joan Bruna、Yann LeCun 和 Rob Fergus。利用卷积网络中的线性结构进行有效评估。 InNIPS，2014 年。
2. Vadim Lebedev、Yaroslav Ganin、Maksim Rakhuba、Ivan Oseledets 和 Victor Lempitsky。使用微调的 cp-decomposition 加速卷积神经网络。ICLR，2014 年。
3. Matthieu Courbariaux、Itay Hubara、Daniel Soudry、Ran El-Yaniv 和 Yoshua Bengio。二值化神经网络：训练深度神经网络，权重和激活限制为+ 1or-1.arXiv preprint arXiv:1602.02830, 2016
4. Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean。在神经网络中提取知识。NIPSWorkshop，2014 年。

Answer 3

你想做的事情是部分可以实现的。

拥有一个与已经定义的变量同名的变量可能是不可能的。因为 TensorFlow 创建了一个数据流图，并且每个节点都需要是唯一可识别的（以避免歧义）。如果您想要相同的名称，您可以使用具有不同作用域的 variable scoping 来实现。

但是要将变量的一部分分配给另一个变量，您可以使用以下代码。

import tensorflow as tf
import numpy as np

tf.reset_default_graph()

with tf.variable_scope('old'):
  conv1 = tf.get_variable('conv1_1', shape=(11, 11, 3, 64), initializer=tf.contrib.layers.xavier_initializer())
with tf.variable_scope('new'):
  conv_res_1 = tf.get_variable('conv1_1', shape=(11, 11, 3, 20), initializer=tf.contrib.layers.xavier_initializer())

assign_op = tf.assign(conv_res_1,conv1[:,:,:,:20])

with tf.Session() as sess:
  tf.global_variables_initializer().run()
  w_1, w_res_1 = sess.run([conv1, assign_op])
  assert np.all(w_1[:,:,:,:20] == w_res_1)
  print(w_1[0,0,0,0], w_res_1[0,0,0,0])  

更新：如果您可以接受丢失较大的变量，您可以执行以下操作。这将采用 conv_1 并将变量替换为较小的变量。

import tensorflow as tf

tf.reset_default_graph()
conv1 = tf.get_variable('conv1_1', shape=(11, 11, 3, 64), initializer=tf.contrib.layers.xavier_initializer())

assign_op = tf.assign(conv1, conv1[:,:,:,:20], validate_shape=False)

with tf.Session() as sess:
  tf.global_variables_initializer().run()
  sess.run(assign_op)