Deep Learning
概括
关于深度学习的定义,应用领域,为什么需要深度学习,以及深度学习过程。
1.深度学习应用领域:语音、视觉、医药、基因工程等方向
2.深度学习定义:一门充分应用、分类识别的技术。(自己目前的理解)
3.**函数(非线性):
目的:解决线性不可分问题。 通常在神经网络结构中,只用一种**函数,除了最后一层输出层,其他全连接层神经元都要包含**函数。
常用的就是ReLU (Rectified Linear Unit)非线性**函数。
f(x) = max(0,x)
[在输入大于0时,直接输出该值;在小于0时,输出为0]
**函数图像:
几个**函数对比
four key ideas behind ConvNets : local connections, shared weights, pooling and the use of many layers.
4.防止过拟合
Dropout(随机失活):一门正则化技术,让隐藏层的神经元任性一下,在训练时候,让神经元以超参数的概率被**或者被置为0 。【可以理解为对全连接的神经网络的抽样】train模式下,dropout层的局部梯度就是随机失活遮罩 (mask)