|
目录 |
|
- - 2. Text- Skip thought & Quick thought - 2.1 Skip thought和Quick thought - 3.2 Designed Network Architecture - 4.1 Vector Quantized Variational Auto-encoder (VQVAE) - 5. NEXT 概述 auto-encoder这种向量化的特性具有很多的拓展性。
|
1. 更好的Auto-Encoder架构
如何评估生成的vector？经典的auto-encoder架构如下，下面介绍一种改进的架构。
注意Latent Representation，Latent Code的叫法
1.1 Add Discriminator
新的架构是二分类器，用于（训练图片+encoder）的向量之间匹配程度，输入数据除了（A和A的向量）还有（A和非A的向量），换句话来说，它既有匹配样本也有不匹配样本。
这种做法和人脸识别非常像，从直观上来看，它能加大各个类型向量之间的区分度。它的损失函数将同时train这两个部分。
1.2 经典架构的Genenal 形式
事实上，原来的架构可以用等同于新架构的一共special case。
2. Text- Skip thought & Quick thought
向量化是一个永远的话题。例如在文本任务中，如何向量化一段话，保留它的context信息，这里可以用auto-encoder来做。
2.1 Skip thought和Quick thought
前者和word embedding的训练方法非常像，它利用auto-encoder模型生成上一句、下一句，以此来确保中间的句子，即输入能够以一种保留上下文的信息的方式向量化。
Quick thought是另一个版本，它考虑抛弃decoder部分，加快训练流程。它重点在于，如何确保你的vector的representation是优秀的呢？——它的答案是，既要和上下文想象，也要和其他情况不像。它随机化输入，类似上文提供正负样本，进行训练。
3. Feature Disentangle
特征解构。既然nn能对数据进行向量化，我们会期待它对特征进行解构，将特征的不同部分进行定向向量化。举个例子，例如说语音，能不能把说话者的音色和语音本身的内容分离？
3.1 Adversarial Training
下面就是一个语音音色合成的例子。这里应该就是gan的知识了，非常巧妙。它想让绿色部份只保留声音信息而不保留音色信息，红色部分只保留音色信息。于是它训练了一个classifier，让他从信息部分分辨男女，然后它的目标不是让这种分类越来越准，它是试图最大化损失，骗过模型。于是，结果就是，绿色部分不会保留音色信息，而音色信息只会到红色部分去。
不过，为什么它要反着来呢？例如说让红色部分分辨男女，最大化可能性，我认为应该也行，可能效果会差点，反着来应该有好处的。
3.2 Designed Network Architecture
像这个任务还可以考虑设计nn的架构，让nn只保留我们需要的信息。图中在绿色部分加入一个叫做IN的层次，试图remove掉语音的全局信息（例如音色），而在红色部分则加入AdaIN层次，这个层次和IN相反，它的任意改动都会传播到全局，于是……红色部分就不会保留内容信息，只会保留音色信息——否则重构结果就会出问题。
4. Discrete Representation
让encoder输出离散向量？这件事是可以做的。
只有一个问题是，可以微分吗？答案是不行的，但是有一些trick可以让这种不能微分的结构可以微分。https://arxiv.org/pdf/1611.01144.pdf
4.1 Vector Quantized Variational Auto-encoder (VQVAE)
这是离散化特征的一种应用。这是最近一种很有名的架构，它将encoder的输出和现有的有限vector集合求相似度，离散化。结果是，因为离散的信息容易被保留（比如单词），连续的信息无法保留，所以这是一种抽离语音信息内容的方法。
4.2 Sequence as Embedding
这种技术还可以用来做summary，很容易想到，我们输入文本，它变成单词，然后再从单词变为原来文本，那么它必然会保留下来重要的单词。它看起来是一种seq2seq2seq auto-encoder的结构。
非常有意思的是，你如果不对summary做限制的话，它是没什么可读性的，于是这里就用到了gan，加了一个discriminator来判断这句话到底有没有可读性。
5. NEXT
离散化特征有更多的可能，因为它有可解释性，当前还有一些研究，研究encoder直接生成语法树之类的结构。这些的特点就是无法微分，但是很多情况下都可以用强化学习train起来。