Deep Learning
概括
关于深度学习的定义,应用领域,为什么需要深度学习,以及深度学习过程。
1.深度学习应用领域:语音、视觉、医药、基因工程等方向
2.深度学习定义:一门充分应用、分类识别的技术。(自己目前的理解)
3.**函数(非线性):
目的:解决线性不可分问题。
研一汇报第二周(2019.10.27) 通常在神经网络结构中,只用一种**函数,除了最后一层输出层,其他全连接层神经元都要包含**函数。
常用的就是ReLU (Rectified Linear Unit)非线性**函数。
f(x) = max(0,x)
[在输入大于0时,直接输出该值;在小于0时,输出为0]
**函数图像: 研一汇报第二周(2019.10.27)
几个**函数对比
研一汇报第二周(2019.10.27)
four key ideas behind ConvNets : local connections, shared weights, pooling and the use of many layers.

4.防止过拟合
Dropout(随机失活):一门正则化技术,让隐藏层的神经元任性一下,在训练时候,让神经元以超参数的概率被**或者被置为0 。【可以理解为对全连接的神经网络的抽样】
研一汇报第二周(2019.10.27)
train模式下,dropout层的局部梯度就是随机失活遮罩 (mask)

相关文章:

  • 2021-11-18
  • 2021-04-26
  • 2021-04-09
  • 2021-07-20
  • 2021-05-25
  • 2021-06-09
  • 2021-05-09
猜你喜欢
  • 2021-09-04
  • 2021-11-09
  • 2021-08-16
  • 2021-06-16
  • 2022-01-13
  • 2021-09-09
  • 2021-12-18
相关资源
相似解决方案