一.神经元

   为了描述神经网络,我们先从神经元讲起,这个神经网络仅由一个“神经元”构成,以下即是这个“神经元”的图示:


cs231n笔记(5)--传统神经网络,**函数

具体过程是将Xn加权输入,再求和然后输入到“圆圈”中,圆圈实际上是**函数,然后再输出,便完成了神经网络中一个神经元的计算过程。


二.**函数

1.**函数的作用是将神经网络里的线性变化转换成非线性变换。之前可以看出无论神经网络设计多么复杂,层数再多加权变换也是线性变换,此时需要**函数才能更好的提取特征,**函数可以把输入的特征保留并映射下来

2.常用的**函数:

(1)

Sigmoid:

cs231n笔记(5)--传统神经网络,**函数

历史上,sigmoid 函数曾非常常用,然而现在它已经不太受欢迎,实际很少使用了。

具体原因:http://www.jianshu.com/p/6df4ab7c235c

(2)Relu:

cs231n笔记(5)--传统神经网络,**函数


三.人工神经网络

cs231n笔记(5)--传统神经网络,**函数

每条直线都有权值W,每个元都是一个**函数,传统神经网络每层都是全连接。





相关文章: