【DL】几种参数优化方法的比较

 

https://zhuanlan.zhihu.com/p/22252270

结尾的两张图不能更赞。

PS：在用lstm做文本分类的时候，加了L2正则，把optim方法由之前的SGD换成Adam，效果提升显著。