CS231n 2016 通关 第五、六章 Dropout 作业

Dropout的作用：

cell  1 - cell 2 依旧

cell 3 Dropout层的前向传播

　　核心代码：

　　　　train 时：

1   if mode == 'train':
2     ###########################################################################
3     # TODO: Implement the training phase forward pass for inverted dropout.   #
4     # Store the dropout mask in the mask variable.                            #
5     ###########################################################################
6     mask = (np.random.rand(*x.shape) < p) /p
7     out = x * mask

　　　　test 时：

1     ###########################################################################
2   elif mode == 'test':
3     ###########################################################################
4     # TODO: Implement the test phase forward pass for inverted dropout.       #
5     ###########################################################################
6     out = x

　　原理较为简单。

cell 4 反向传播：

　　主要是计算偏导。

　　核心代码:

1     dx = dout * mask    

cell 5 对全连接网络使用Dropout

　　将相应的层加入到模型即可。

附：通关CS231n企鹅群：578975100 validation：DL-CS231n