Deep learning II - I Practical aspects of deep learning - Understanding dropout 理解随机失活正则化

Understanding dropout

---

• 解释 1 通过dropout，每次训练都构建一个更小的神经网络，从而减小过拟合现象发生
• 解释 2 通过dropout，每个neuron不能依赖前一层的某个特定的feature，所以不得不将权重值分散开，从而起到了shrink weights的作用，从而减小过拟合。
  
  
  • 注意 dropout使得function J$J$ 不在能用来做debug的工具