原文指路1:https://blog.csdn.net/wsxzhbzl/article/details/83537662
原文指路2:https://blog.csdn.net/weixin_43077261/article/details/97259237
这是典型的三层神经网络的基本构成,Layer L1是输入层,Layer L2是隐含层,Layer L3是隐含层,我们现在手里有一堆数据{x1,x2,x3,…,xn},输出也是一堆数据{y1,y2,y3,…,yn},现在要他们在隐含层做某种变换,让你把数据灌进去后得到你期望的输出。
输入层:输入神经元定义数据挖掘模型所有的输入属性值以及概率。
隐含层:隐藏神经元接受来自输入神经元的输入,并向输出神经元提供输出。隐藏层是向各种输入概率分配权重的位置。输入所分配的权重越大,则输入值也就越重要。在每个神经元中的隐含层中都有着复杂的函数,并且这些都非线性函数,类似生物学神经网络的基本传输特征,这些函数称之为:**函数,即:输入值发生细微的变化有时候会产生较大的输出变化。
输出层:输出神经元代表数据挖掘模型的可预测属性值。
以房价预测为例:
样本(特征值):面积,楼层,户型。。。。
标签:价格
那么通过采集得到的数据集应该是下面这样:
常见的**函数:
sigmoid函数:(logistic函数):
特点是:
- 将一个是实数映射到(0,1)之间
- 在特征相差不大的时候效果比较好
用法:通常用来做二分类
缺点:1.**函数计算量大
2.容易出现梯度消失:当数据分布在曲线平滑位置的时候很容易出现梯度消失,梯度容易饱和。
图像绘制
Relu 函数
f(x)=max(0,x)
特点:1.relu函数对与梯度收敛有巨大加速作用
2.只需要一个阀值就可以得到**值节省计算量
用法:深层网络中隐藏层常用
缺点:过于生猛,一言不合就会使得数据变为0,从此结点后的相关信息全部丢失。
图像绘制: