变分自编码器希望从一个的隐藏变量Z生成目标数据的X的模型,但是实际上是有所不同,更加准确的讲,它们将假设Z生成目标数据X的模型。,但是现实上有所不同,更加准确的,它们将z服从某些常见的分布(正太分布或者均匀分布),然后希望训练一个模型。这个模型能改哦将原来的概率分解映射到训练计的分布马也就是说,它们的目标是进行分布之间的转换。
生成模型的难点是判断生成非呢步与正式分布的相似度,因为我们只知道两者值啊间的采样结果,不知道它们的分布表达式。
现在的假设z服从标准的正太分布,那么我们就可以从中采样得到若干的,然后对它们做变幻的到x1,,我们如何判断这个通过这个通过G函数个哦造出来的数据集,它们的分布与我们的目标数据集合分布是不是一样的。
这里我们可以根据KL散度,但是这个概念是根据两个概念分布的表示来计算它们的相似度,但是我们目前不知道他们的概率分布表达式。我们只有一批从构造的分布采样而来的数据{},还有一批从真实的分布采样的数据{},我们只有样本本身,没有分布表达式,当然没有办法计算KL散度。
肃然遇到困难,但是还是要想办法去解决。GAN的想法是很直接,既然没有合适的变量,那我直接将这个度量tongue神经网络训练出来。就这样,网络随之诞生。
但是VAE采用一种精致的迂回的技巧。
VAE知识回顾:(相较于传统模型,指示加入噪声选型)
首先,我们有一批的数据样本{},我们本来喜爱嗯得到关于分布,如果能够得到,那我直接根据进行采样,就可以得到可能的所有的X,这是一个终极的理性的生成模型,当然这个理性爱嗯很难实现。于是我们将这个分布进行修改:
这里我们不区分求和还是求得积分,如果这个模型还能够实现,那么我们就可以先从标准正太分布采样一个,然后根据计算一个X,也是一个很棒的模型。接下来结合自编吗来实现重新构建,保证有效信息没有丢失,再加上一系列的推导,最终将模型进行实现,个哦家的示意图是: