7.Brief introduction of Deep Learning

深度学习基本结构

深度学习类似之前的机器学习，也可以分为简单的三步

7.Brief introduction of Deep Learning

给定一个神经网络结构，也就是定义了一个函数集，给这个神经网络不同的权重也对应着不同的函数，我们要做的不断调整权重以找到我们想要的最好的函数

7.Brief introduction of Deep Learning

神经网络可以分为三部分，输入层，隐藏层，输出层，从字面自已我们大致可以知道，第一个层就是输入层，最后一层即输出层，在输入层与输出层之间的即为隐藏层

7.Brief introduction of Deep Learning

Deep的含义就是神经网络包含很多隐藏层，从下图大致可以看出神经网络越深，一般效果越好

7.Brief introduction of Deep Learning

每个神经元实际上是一个线性变换加上一个sigmoid函数（上一次笔记有讲），线性变换我们可以用矩阵运算来描述

7.Brief introduction of Deep Learning

于是整个神经网络是由好多线性变换和好多sigmoid函数组合而成

7.Brief introduction of Deep Learning

我们可以用平行运算来加速矩阵操作，而这正是GPU的长处

7.Brief introduction of Deep Learning

隐藏层的工作实际上是特征提取

7.Brief introduction of Deep Learning

深度学习应用举例

例如在手写数字辨识中我们可以用neural network来实现，通过输出来判别属于哪个数字

7.Brief introduction of Deep Learning

网络结构都需要自己设计

7.Brief introduction of Deep Learning

然后我们需要做的是找到一组参数，使得loss function最小

7.Brief introduction of Deep Learning

怎样计算Loss？当然还是之前采用的梯度下降的方法。

7.Brief introduction of Deep Learning

对于神经网络有一个理论：任何连续的函数f都可以用只有一个隐藏层的网络表示出来

7.Brief introduction of Deep Learning