一、二次代价函数、交叉熵代价函数、对数似然代价函数
（一）二次代价函数
相当于把误差求平方累加再除以样本总数，求平均
（二）交叉熵代价函数
（三）对数似然代价函数
**函数：见博文
早期研究神经网络主要采用sigmoid函数或者tanh函数，输出有界，很容易充当下一层的输入。
近些年Relu函数及其改进型（如Leaky-ReLU、P-ReLU、R-ReLU等）在多层神经网络中应用比较
见本总结教程另一片博文
二、拟合
欠拟合、正拟合、过拟合
解决过拟合的方法
①增加数据集
②正则化方法
③Dropout
训练的时候只用部分神经元来进行训练
三、优化器
SGD、Momentum、NAG、Adagrad、Adadelta、Rmsprop