最近在看深度模型处理nlp文本分类。一般在写模型的时候，L2正则化系数设为0了，没有去跑正则化。还有一个小trick，就是一些权重的初始化，比如CNN每层的权重，以及全连接层的权重等等。
一般这些权重可能选择随机初始化，符合某种正态分布。虽然结果影响不大，但是肯定会影响模型收敛以及准确率的。
先上两张图。
第一张图是我没有加正则化防止过拟合以及随机初始化权重矩阵的accuracy图。
第二章是我加了L2正则化以及用某种方法初始化权重后的结果，发现模型比较稳定，而且没有出现过拟合现象，也就是没有像第一幅图那样，到某个阶段准确率急速下降。
怎么加正则化就不说了，怎么初始化权重的话，可以看这个链接。https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit