0、机器学习框架图
1、深度学习框架图：
下面这张图，有助于对各种网络用途的理解
2、神经网络要解决的问题
2.1、基于网络功能函数的定义（网络模型的选择，激励函数的选择，优化方法的选择）–>网络模型好坏的评估（损失函数的定义）–>选出一个最优模型–>过拟合问题的解决
2.2、常见的网络结构：DNN, CNN, RNN, LSTM, GRU
2.3、常见的激励函数：sigmod,tanh,ReLU,maxout
2.4、常见的优化方法：SGD、Adagrad、Adadelta、Adam、adamax、Nada （优缺点介绍：https://blog.csdn.net/yunxinan/article/details/74858070）
2.5、常用的损失函数：square error，cross entropy
2.6、常用的解决过拟合的方法：early stop、正则化（权重衰减）、dropout、增加训练样本