深度学习复习总览（一）

一：绪论
人工智能：使一部机器人像人一样进行感知、认知、决策、执行的人工程序或系统。
标志事件表：

人工智能诞生：1956年的达特茅斯会议
三个层面：目前处于第二个

分类：

三起两落：

其中第一次是感知机的出现，第二次是BP的出现，第三次是包括是三个，分别是：逐层预训练算法、深度学习算法在ImageNet以及2016年的AlphaGo。
一些重要人物：





二：基础知识

1. 机器学习三要素：模型、学习准则、优化算法。
   模型：映射函数。
   学习准则：经验风险最小化。
   优化算法：梯度下降。

2. 神经网络
   一般是非凸函数

3. 梯度下降
   随机梯度下降—SGD
   批量梯度下降
   小批量梯度下降

4. 范数
   向量：
   L1范数：各个元素的绝对值之和。
   L2范数：每个数的平方的和，然后再开方。
   L无穷：向量中最大值。
   矩阵：
   L范数:每个数的p次方，然后累加，然后再开p次方

5. 感知机
   阶跃**函数，没有隐藏层。算机器学习的一个第一个阶段。