之一：
在机器学习中，常常会出现overfitting，网络权值越大往往overfitting的程度越高，因此，为了避免出现overfitting,会给误差函数添加一个惩罚项，常用的惩罚项是所有权重的平方乘以一个衰减常量之和。
右边项即用来惩罚大权值。权值衰减惩罚项使得权值收敛到较小的绝对值，而惩罚大的权值。从而避免overfitting的出现。
之二：
假设我们原来的损失函数没有weight decay项，设为E(w)，这种情况下的权值更新如下：
带有weight decay项后，损失函数变为：
此时的更新函数为：
这样则会使权重衰减。
之三：