Tensorflow 中的 dropout 层会影响哪些层？答案

【问题标题】：What layers are affected by dropout layer in Tensorflow?Tensorflow 中的 dropout 层会影响哪些层？
【发布时间】：2020-09-04 18:17:29
【问题描述】：

考虑迁移学习，以便在 keras/tensorflow 中使用预训练模型。对于每个旧层，trained 参数设置为false，以便在训练期间不会更新其权重，而最后一层已被新层替换，必须对其进行训练。特别是添加了两个具有512 和1024 神经元和relu 激活函数的全连接隐藏层。在这些层之后，Dropout 层与rate 0.2 一起使用。这意味着在每个训练 epoch 20% 的神经元被随机丢弃。

这个 dropout 层会影响哪些层？它会影响所有网络，包括已设置layer.trainable=false 的预训练层，还是仅影响新添加的层？还是只影响前一层（即具有1024 神经元的层）？

换句话说，在每个 epoch 中被 dropout 关闭的神经元属于哪一层？

import os

from tensorflow.keras import layers
from tensorflow.keras import Model
  
from tensorflow.keras.applications.inception_v3 import InceptionV3

local_weights_file = 'weights.h5'

pre_trained_model = InceptionV3(input_shape = (150, 150, 3), 
                                include_top = False, 
                                weights = None)

pre_trained_model.load_weights(local_weights_file)

for layer in pre_trained_model.layers:
  layer.trainable = False
  
# pre_trained_model.summary()

last_layer = pre_trained_model.get_layer('mixed7')
last_output = last_layer.output

# Flatten the output layer to 1 dimension
x = layers.Flatten()(last_output)
# Add two fully connected layers with 512 and 1,024 hidden units and ReLU activation
x = layers.Dense(512, activation='relu')(x)
x = layers.Dense(1024, activation='relu')(x)
# Add a dropout rate of 0.2
x = layers.Dropout(0.2)(x)                  
# Add a final sigmoid layer for classification
x = layers.Dense  (1, activation='sigmoid')(x)           

model = Model( pre_trained_model.input, x) 

model.compile(optimizer = RMSprop(lr=0.0001), 
              loss = 'binary_crossentropy', 
              metrics = ['accuracy'])

【问题讨论】：

标签： python tensorflow keras transfer-learning dropout

【解决方案1】：

dropout层会影响上一层的输出。

如果我们查看您的代码的特定部分：

x = layers.Dense(1024, activation='relu')(x)
# Add a dropout rate of 0.2
x = layers.Dropout(0.2)(x)                  
# Add a final sigmoid layer for classification
x = layers.Dense  (1, activation='sigmoid')(x)

在您的情况下，x = layers.Dense(1024, activation='relu')(x) 定义的层的输出的 20% 将被随机丢弃，然后传递到最终的Dense 层。

【讨论】：

【解决方案2】：

只有上一个层的神经元被“关闭”，但所有层在反向传播方面都受到“影响”。

Later layers：Dropout 的输出是下一层的输入，所以下一层的输出会改变，next-next 的输出也会改变，等等。
Previous layers：随着 pre-Dropout 层的“有效输出”发生变化，它的梯度也会发生变化，因此任何后续梯度也会发生变化。在Dropout(rate=1)这种极端情况下，会出现零梯度。

另外，请注意，整个神经元只有在 Dense 的输入是 2D (batch_size, features) 时才会被丢弃； Dropout 对所有维度应用随机统一掩码（相当于在 2D 情况下丢弃整个神经元）。要删除整个神经元，请设置Dropout(.2, noise_shape=(batch_size, 1, features))（3D 案例）。要在所有样本中删除相同神经元，请使用noise_shape=(1, 1, features)（或(1, features) 用于2D）。

【讨论】：

对不起，你回答的最后一部分不清楚：whole neurons 和if input is 2D 是什么意思？你的意思是两个参数还是什么？
@FrancescoBoi 每个神经元输出一个张量形状的(batch_size, ...)；如果输入为 3D，则为 (batch_size, timesteps)。如果有features个神经元，则整个层的输出形状为(batch_size, timesteps, features)。如果所有输出都归零，则“整个神经元”将被丢弃 - 示例 here（底部）：神经元 0、5 和 11 被丢弃。

【解决方案3】：

Dropout 技术并不是在神经网络中的每一层都实现的；它通常在网络最后几层的神经元中使用。

该技术通过随机减少神经网络中互连神经元的数量来发挥作用。在每个训练步骤中，每个神经元都有可能被排除在外，或者更确切地说，从连接的神经元的整理贡献中退出

关于 dropout 应该放在激活函数之前还是之后存在一些争论。作为经验法则，对于除relu 之外的所有激活函数，请将 dropout 放在激活函数之后。

您可以在每个隐藏层之后添加dropout，通常它只会影响前一层（您的情况会影响(x = layers.Dense(1024, activation='relu')(x) )）。在 Hinton (2012) 提出 dropout 层的原始论文中，在输出之前的每个全连接（密集）层上都使用了 dropout（p=0.5）；它没有用于卷积层。这成为最常用的配置。

我正在添加可能对您有帮助的资源链接：

https://towardsdatascience.com/understanding-and-implementing-dropout-in-tensorflow-and-keras-a8a3a02c1bfa

https://towardsdatascience.com/dropout-on-convolutional-layers-is-weird-5c6ab14f19b2

https://towardsdatascience.com/machine-learning-part-20-dropout-keras-layers-explained-8c9f6dc4c9ab

【讨论】：