学习规则
1986 年,由认知心理学家 McClelland 和 Rumellhart 在神经网络训练中引入了 规则的学习信号规定为:
规则要求转移函数可导。
规则到最小平方误差
定义神经元输出与期望输出之间的平方误差为:
欲使误差 最小,梯度的变化方向应是负梯度方向:
其中:
因此:
1986 年,由认知心理学家 McClelland 和 Rumellhart 在神经网络训练中引入了 规则的学习信号规定为:
规则要求转移函数可导。
定义神经元输出与期望输出之间的平方误差为:
欲使误差 最小,梯度的变化方向应是负梯度方向:
其中:
因此:
相关文章: