台大李宏毅Machine Learning 2017Fall学习笔记 (7)Introduction of Deep Learning
最近几年，deep learning发展的越来越快，其应用也越来越广。但深度学习的发展并非是一帆风顺的。
简单了解深度学习的历史后，再看一下做深度学习的步骤。很简单，就像是把大象放进冰箱里一样简单。共分为3步。
Step 1:Neural Network
神经网络的示意图如下：
如上图所示：“神经元”不同的连接方式会有不同的网络结构。网络参数
对于深度学习而言，网络结构就相当于函数集合（下图以全连接前馈网络为例）。
深度学习的网络层分为三类：输入层、隐藏层和输出层。见下图：
深度学习指的是有很多的隐藏层。在网络结构中的计算均是以矩阵的形式进行。
正如上图所示，可以利用并行计算的方式来加速矩阵操作。
隐藏层的作用是特征提取，从而使得特征提取这一步变为全自动的。
以手写数字识别为例，需要自己决定构建网络结构，而通常这一步是比较困难的。需要自己决定网络有多少层？每层有几个神经元？大多靠的是反复试验+直觉。
Step 2:Goodness of function
求解函数，首先定义损失函数，同样以手写数字识别为例，此处利用了交叉熵。
Step 3:Pick the best function
利用梯度下降法求解参数
不断迭代，直至找到最优解。