为什么我们在卷积神经网络中使用卷积层之后的激活函数？答案

【问题标题】：Why we use activation function after convolution layer in Convolution Neural Network?为什么我们在卷积神经网络中使用卷积层之后的激活函数？
【发布时间】：2019-01-30 20:45:21
【问题描述】：

我是机器学习的新手，我对卷积神经网络不了解的一件事就是为什么我们在卷积层之后执行激活。

【问题讨论】：

这个问题更适合datascience.stackexchange.com 或stats.stackexchange.com，因为它与编程无关

标签： machine-learning conv-neural-network activation

【解决方案1】：

因为一个卷积后跟一个卷积就是一个卷积。因此，任意深度的卷积神经网络不介入某种非卷积层（例如 relu 层）基本上等同于只有一层的卷积神经网络。这是因为组合线性变换是线性的：

y = m1*(m2*x + b2) + b1
  = m1 * m2 * x + m1 * b2 + b1

这只是一个线性函数......当你只能学习一个并且完全一样的时候，为什么还要学习两个呢？这个逻辑甚至适用于局部线性函数（卷积是局部线性的）。因此，无论是卷积神经网络（还有普通神经网络），我们都必须在线性层之间做一些非线性的事情。一个非常简单的非线性函数是relu，它是一个基本的“弯曲”。

【讨论】：

【解决方案2】：

CNN 是神经网络之一。神经网络背后的基本思想是，当你有足够的输入时，神经元会根据激活函数的计算来触发。称为多后期感知器 (MLP) 的基本神经网络，其中您有 X 维输入，您将其传递到第一个 MLP 层，然后该过程继续到更进一步的层，最终在输出端有一个神经元计算可能是基于问题的分类或回归。

在输入图像上应用过滤器/内核后以类似的方式。之后，您需要在该卷积图像上应用元素激活函数，如 relu 或 sigmoid。如果您有足够的输入作为其他层的输入，则激活函数会产生输出。

【讨论】：