王小爬之初学深度学习笔记（一）

运用于计算隐藏层的**函数

1. 为什么要引入**函数？

   如果不用**函数，系统的每层输出都是上层输入的线性函数，无论神经网络有多少层，输出跟输入都是线性关系，没有隐藏层的出现，这种情况就是最原始的感知机，因此要引入**函数。

1. 什么是感知机？

   感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面，力求得超平面导入了基于误分类的损失函数，利用梯度下降法对损失函数进行最优化。

感知机的定义：

我们需要的就是找到合适的w与b满足w·x+b=0，这里运用到随机梯度下降法，经分析计算得到  

  

1. **函数

1. ReLU（整流线型单元）

   整流线型单元定义，其一半的定义域上输出为零，另一半呈线性。

其函数图形如下：

 

 

                                       

1. sigmoid函数（可作输出单元）

  

1. softmax函数（可作输出单元）