深度系列主要为 我在国科大研一期间，在《深度学习》课程中所学知识概述，根据PPT制作思维导图。
-----------------------------------------------------------------------------------------------------------------------
神经元模型：在MP模型中，神经元接收其他n个神经元的输入信号（0或1），这些输入信号经过权重加权并求和，将求和结果与阈值比较，然后经过**函数处理，得到神经元的输出。当时还没有通过对训练样本进行训练来确定参数的方法，参数只能人为事先计算后确定。
感知器：1958年，罗森布拉特（Roseblatt）提出了感知器，与M-P模型需要人为确定参数不同，感知器能够通过训练自动确定参数。训练方式为有监督学习，即需要设定训练样本和期望输出，然后调整实际输出和期望输出之差的方式（误差修正学习），训练参数。
多层感知器：单层感知器只能解决线性可分问题，而不能解决线性不可分问题。为了解决线性不可分问题，我们需要使用多层感知器。多层感知器指的是由多层结构的感知器递阶组成的输入值向前传播的网络，也被称为前馈网络或正向传播网络。以三层结构的多层感知器为例，它由输入层、中间层及输出层组成。与M-P模型相同，之间层的感知器通过权重与输入层的各单元相连接，通过阈值函数计算中间层各单元的输出值，中间层与输出层之间同样是通过权重相连接。多层感知器的训练使用误差反向传播算法，即BP算法。
误差反向传播算法（Error Back Propagation,BP)：BP算法就是通过比较实际输出和期望输出得到误差信号，把误差信号从输出层逐层向前传播到各层的误差信号，再通过调整各层的连接权重以减小误差。权重的调整主要使用梯度下降法。
**函数：通过误差反向传播算法调整多层感知器的连接权重时，一个瓶颈问题就是**函数。M-P模型中使用阶跃函数作为**函数，只能输出0或1，不连续所以不可导。为了使误差能够传播，提出使用可导函数sigmoid作为**函数（1/（1+e^x））。其他常用的**函数还有tanh（(e^x - e^(-x))/(e^x + e^(-x))）,ReLu（Rectified Linear Unit,修正线性单元）等。