LMS权值更新法则

LMS(least mean squares) 最小均方法

对于每一个训练样例<b , V_train(b)>

 

1、使用当前的权计算V'(b)

2、对每一个权值w_i进行如下更新

     w_i <- w_i + η(V_train(b) - V'(b)) x_i

这里η是一个小的常数(比如0.1)，用来调整权值更新的幅度。为了直观的理解这个更新法则的工作原理，请注意，当误差(V_train(b) - V'(b))w为0时，权不会被改变。当(V_train(b) - V'(b))为正时，说明V'(b)太低，每一个权值会根据其对应的特征值(xi)增加一定的比例，从而会提升V'(b)的值而减小误差。反之为负同理。

 

在一定条件下，这种简单的权值调整方法被证明可以收敛到V_train值的最小误差平方逼近.