1.前向传播
显然,数据从输入层输入经带有权值和偏置的隐藏层,隐藏层由一个个神经元组成,经**函数处理作为下一层神经元的输入,这样层层连接,对输入特征进行变换处理,最终输出.
2.误差反向传播
神经网络的输入经过层层的非线性变换得到输出的过程,可以将输出视为输入的复合函数,当我们要计算输出与真实的观测之间的误差对第l层神经元的梯度时,我们根据链式法则,首先计算的是误差对靠近输出的神经元的梯度,然后逐层向内求梯度,就像复合函数求导,先求外层的导数,再求内层的导数,因此计算梯度时,有所谓误差反向传播的说法,其实只是逻辑上存在,参考李宏毅老师的ppt