Stacked Autoencoder（SAE）模型是一个由多层稀疏自编码器组成的深度神经网络模型，其前一层自编码器的输出作为其后一层自编码器的输入，最后一层是个分类器（logistic分类器或者softmax分类器）
（一）sparse autoencoder算法
1.概念：sparse autoencoder是一种非监督学习算法，需要满足以下两种约束：
（1）autoencoder：输入等于输出
（2）sparse：隐层的每个神经元的响应是稀疏的，也就是大部分时间响应为0，也就是平均响应尽可能小（其中m为训练样本个数）
2.代价函数
其中：
（1）第一项为autoencoder的约束项；
（2）第二项为惩罚项目，防止过拟合；
（3）第三项为稀疏的约束，是一个KL散度的衡量标准：
3.最优化方案：该约束函数是一个非凸函数，采用批量梯度下降算法
其中：
至于梯度可以用backpropagation（BP）算法来求解；
（二）logistic回归模型与softmax回归mox
1.logistic回归模型
（1）适用于二分类；
（2）模型函数：
（3）代价函数（最大似然）：
（4）最优化方案：梯度下降算法；
2.softmax回归模型
（1）适用于多分类；
（2）模型函数：
（3）代价函数：
（4）最优化方案：梯度下降算法； 3.softmax回归分类器适用于k个互斥的类别的分类；k个logistic回归分类器适用k个并不完全互斥的类别的分类；
（三）SAE模型
（1）预训练：利用无标签数据对每一层的参数用sparse autoencoder训练初始化；
（2）微调：利用有标签数据对整个深度神经网络进行微调；