课程地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html
深度学习的发展趋势
深度学习发展历史：
1969 Perceptron的局限：连异或逻辑都无法实现
1986 Backpropagation：重要技术，通常使用三个隐含层，因为超过3个隐含层很难实现
2006 突破，受限玻尔兹曼机（RBM），这个方法很复杂
深度学习的三个步骤：定义一组方程；评价方程的优劣；选择最佳方程
第一步 定义一个组方程
神经网络，本质上就是多个logistic回归组合在一起
全连接前馈网络
可以用这样的方式来表示，所谓的“深度”，就是有很多层隐含层。
网络的运作-用矩阵表示：一连串向量乘矩阵再加向量的运算，这样的表示方法可以利用GPU加速
如何看待整个网络：
隐含层可以看做特征提取器，输出可以看做一组新的特征
输出层可以看做多类别分类器
第二步 定义一个函数的好坏
针对一个示例，使用交叉熵为标准，得到损失函数
针对所有示例，去每一个例子的损失函数和作为整体的损失函数
第三步 找一个最好的方程——梯度下降方法