CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)
CNN 专门解决图像问题的，可用把它看作特征提取层，放在输入层上，最后用MLP 做分类。
RNN 专门解决时间序列问题的，用来提取时间序列信息，放在特征提取层（如CNN）之后。
DNN 说白了就是 多层网络，只是用了很多技巧，让它能够 deep 。
什么是深度学习
深度学习=深度神经网络+机器学习
人工智能 > 机器学习 > 表示学习 > 深度学习
神经元模型
输入信号、加权求和、加偏置、激活函数、输出
全连接层
输入信号、输入层、隐层（多个神经元）、输出层（多个输出，每个对应一个分类）、目标函数（交叉熵）
待求的参数：连接矩阵W、偏置b
训练方法：随机梯度下降，BP算法（后向传播）
Python中深度学习实现：Keras
安装：pip install Keras
优点：高度集成和封装，上手快、使用方便
内容：Model、Layer、Objective、Metric、Optimizer、Activation、Initialization、Regularizer
全连接层：Dense
转载网络