一 Auto-encoder
NN Encoder & NN Decoder 要一起训练。
二 Starting from PCA
三 Deep Auto-encoder
PCA&Deep Auto-encoder 比较，明显后者效果更好。
当code为二维时，很明显看到Deep Auto-encoder使数字手写识别集分类地更好。
四 Auto-encoder的几种应用
4.1 Auto-encoder – Text Retrieval
Bag-of-word方法将document用向量表示，每一个词都是平等的，无法考虑语义。 而Auto-encoder可以考虑语义。
4.2 Auto-encoder – Similar Image Search
杰克逊和马蹄铁被聚到一起（可能是发型类似马铁蹄）。
4.3 Auto-encoder for CNN
CNN -Unpooling
CNN - Deconvolution
Actually, deconvolution is convolution.
参考：
http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/auto%20%28v7%29.pdf
https://blog.csdn.net/soulmeetliang/article/details/73550730