PyTorch实现L1，L2正则化以及Dropout(给代码截图参考)
1.了解知道Dropout原理
2.用代码实现正则化(L1、L2、Dropout）
3.Dropout的numpy实现
4.PyTorch中实现dropout
参考代码：
2.基础知识
L1正则化：直接在原来的损失函数基础上加上权重参数的绝对值。
由上式可知，当W大于0时，更新的参数w变小；当w小于0时，更新的参数变大，所以使参数变为0，即特征稀疏化。
L2正则化：
正则化的更新参数相比于未含正则项的更新参数多了