CNN 中的 ReLu 和 Dropout答案

【问题标题】：ReLu and Dropout in CNNCNN 中的 ReLu 和 Dropout
【发布时间】：2015-02-03 20:40:56
【问题描述】：

我正在研究卷积神经网络。我对 CNN 中的某些层感到困惑。

关于 ReLu... 我只知道它是一个无限逻辑函数的总和，但是 ReLu 并没有连接到任何上层。为什么我们需要 ReLu，它是如何工作的？

关于辍学... 辍学是如何工作的？我听了 G. Hinton 的视频演讲。他说有一种策略，在训练权重时随机忽略一半节点，在预测时将权重减半。他说它的灵感来自随机森林，其工作原理与计算这些随机训练模型的几何平均值完全相同。

这个策略和dropout一样吗？

有人可以帮我解决这个问题吗？

【问题讨论】：

一个很好的资源是Marc'Aurelio Ranzato 的CVPR 2014 Tutorial on Large-Scale Visual Recognition。它介绍并详细介绍了这两个主题。
@deltheil 很抱歉，我在您链接的论文中找不到任何关于辍学的信息。在文档中搜索“dropout”会返回三个事件，所有三个都只是提到这里使用了 dropout。你有没有详细说明辍学的页面？我已经通读了，但还没有找到关于 dropout 的信息

标签： neural-network deep-learning dropout

【解决方案1】：

ReLu： rectifier 函数是一个激活函数 f(x) = Max(0, x)，它可以像任何其他激活函数一样被神经元使用，使用 rectifier 激活函数的节点称为 ReLu 节点.使用它的主要原因是因为与更传统的激活函数（如 sigmoid 和双曲正切）相比，它的计算效率更高，而不会对泛化精度产生显着影响。使用整流器激活函数而不是线性激活函数来为网络添加非线性，否则网络将永远只能计算线性函数。

辍学： 是的，所描述的技术与 dropout 相同。随机忽略节点有用的原因是因为它可以防止节点之间出现相互依赖关系（即节点不学习依赖来自另一个节点的输入值的函数），这允许网络学习更多更健壮的关系。实施 dropout 与从网络委员会获取平均值的效果大致相同，但是在所需的时间和存储方面的成本要低得多。

【讨论】：

ReLu 是否连接到上层？我检查了 AlexNet 的架构以完成 imagenet 任务。看来 ReLu 是一个独立的层。如果是这样，它不会将价值传递给上层。为什么我们需要这个“无关”层？
ReLu 只是一个实现整流器激活函数 max(0, n) 的单个神经元，而不是一个全新的层。虽然报告没有说明确切的细节，但看起来这个激活函数似乎用于网络中的每个神经元，包括卷积层和全连接层。
ReLu 函数看起来仍然是线性的。能像sigmoid一样解决问题吗？