增强模型表示方法-dropout
Dropout 的原理为：在每个迭代过程中，随机选择某些神经元，并且删除它们在⽹络中的前向和后向连接，相当于是 “去掉” 这些神经元。如图 6.5所⽰，在每批样本训练时，将原始⽹络中部分隐藏层单元 “去掉”。当然，Dropout 并不意味着这些神经元永远的消失了，在下⼀批数据迭代前，我们会把⽹络恢复成最初的全连接⽹络，然后再⽤随机的⽅法去掉部分隐藏层的神经元，接着去迭代更新 W, b。Dropout 思想可以理解为每次训练时放弃部分神经元对剩下的神经元加重训练，使剩下的神经元具有更强的能⼒。
每个迭代过程都会有不同的神经元节点的组合，从⽽导致不同的输出。这可以看成机器学习中的集成⽅法 (Ensemble Technique)。集成模型⼀般优于单⼀模型，因为它们可以捕获更多的随机性；相似地，Dropout 使得神经⽹络模型优于正常的模型。