〖 tensorflow2.0笔记17〗：自编码器Auto-Encoders！

自编码器Auto-Encoders！

注意：其实无监督并不是没有目标，它也是有目标的，比如看下面的auto-encode，它的目标是什么？它的目标就是它自己，这么一想其实unsupervised learning也是非常有道理的。
比如下面MNIST数据集，输入这样的图片，经过这样一个神经网络NN（encoder），得到一个输出，再经过一个网络（decoder）;也可以如下图中的理解。这就是auto-encoder，特别简单。
可视化可以参考这个网站，比较直观的感受784-3（784维降低到3维）：降维度可视化网站链接

下面讲解一下auto-encoder的变种吧！首先比较简答的是：容易想到如果只是在像素级别里重建，这样没有发现一些更深层次的东西，那你很有可能只是记住一些特征，比如这个数字，你可能直接把这个像素给记住了；那么为了防止记住怎么办？我们给原图像加一些噪声

Drop out是Hintton大神发明的，Drop out也是现在一种比较常用的技术，但是他并没有发表在paper上面，据说是Hitton在给他的学生上课的时候随口提出来的小trick(技巧)，帮助你提升神经网络性能的技巧。
看下图：首先在Training的时候回有目的的，让这部分的连接断开，具体的操作我们手动的让这部分的权值暂时设置为0，就是相当于暂时断掉了。这样可以理解为：给你的信息有限，这样就迫使你的系统更加的robust，你就不会依赖于所有的神经元，而是部分的神经元。然后你再Test的时候：就会让你的这个任务变得更加的简单了，所有的Drop out设置都恢复了。

但是实际上最原始的auto-encoders大家发现；比如你从【-1， 1】变换h分布的时候，重建出来的图片它可能是一样的，就是没有呈现出这种分布过来，这样的话就比价烦人了，那么怎么解决这个问题呢？Adversarial Auto-Encoders是怎样解决这个问题的呢？如下图添加了一个Discriminator，还没有讲到GAN，现在可以理解为一个识别器（鉴别器）
我们假设一个分布，高斯分布，均值为0，方差为1，我们希望你属于一个这样的分布，如果你没有输入这个分布，我们鉴别你，我们把真实的z和希望得到的z’都送给这个网络做鉴别这个差距，如果差距大，就是不属于预设的这个分布，我们输出一个fake，我们这个分布属于预设的分布，就是属于这个高斯分布，我们输出这个1。通过这样的话就能迫使就能是我们中间得到的这个hidden vector除了能完成重建工作之外，还能符合我们想要的分布，这样就很好解决上一张图片中所说的不平衡的问题（分布不均匀，乱七八糟）。

VAE除了重建的效果比AE好一些，更重要的是作为一个 $stochastic$ 模型，它学习的是 $q(h)$ ，通过从 $q(h)$ 中 $sample$ 出不同的 $h$ ，这样就可以重建或者说用来做生成的模型，如果h是二维的 $[h0, h1]$ ， $h_{0}$ 属于 $h_{0} \sim N\left(\mu_{0}, \sigma_{0}^{2}\right)$ 的分布， $h_{1}$ 属于 $h_{1} \sim N\left(\mu_{0}, \sigma_{1}^{2}\right)$ 的分布，知道了这2个分布,我们就改变 $\mu_{0},\sigma_{0}, \mu_{1},\sigma_{1}$ ，我们再 $sample$ 一下， $sample$ 出来新的 $h$ , $h$ 再送入后面的 $decoder$ ，就能得到 $\overline{x}$ ，通过多个 $sample$ 之后得到不同的 $h$ ，也可以得到不同的 $\overline{x}$ ，这样的话就可以实现生成。
看下图横坐标 $h_{0}$ 改变，纵坐标 $h_{1}$ 改变，改变以后相当于上面说的分布改变了，那么sample生成的图片就有随机性在里面。