关于 Keras 文档的几个问题

【问题标题】：Few questions about Keras documentation关于 Keras 文档的几个问题
【发布时间】：2020-01-18 04:31:18
【问题描述】：

在名为 activations.md 的 Keras 文档中，它说“激活可以通过激活层使用，也可以通过所有前向层支持的激活参数使用。”。那么前向层是什么意思呢？我认为有些层没有激活参数。（例如 Dropout 层）

并且“比简单的 TensorFlow/Theano/CNTK 函数更复杂的激活（例如，可学习的激活，保持状态）可用作高级激活层，可以在模块 keras.layers.advanced_activations。这些包括 PReLU 和 LeakyReLU。”。那么这种情况下state是什么意思呢？

【问题讨论】：

CNN 中的前向层包括卷积层、密集层等。这些是前馈神经网络中的层。

标签： keras

【解决方案1】：

我不确定在这种情况下“前向层”是否有严格的定义，但基本上它的意思是“经典”、keras 内置类型的层包含一组或多组权重用于将输入矩阵转换为输出矩阵具有activation 参数。通常，Dense 层有一个，以及各种 RNN 和 CNN 层。

Dropout 层具有激活功能是没有意义的：它们只是添加一种在训练时触发的机制，以（希望）提高收敛速度并减少过度拟合的机会。

至于“保持状态”的概念，它指的是激活函数不会在每个输入样本上独立运行，而是保留一些可学习的信息（所谓的状态)。通常，对于 LeakyReLU 激活，您可以通过训练调整泄漏参数（在文档的术语中，它被称为此激活函数的状态）。

【讨论】：