论文阅读笔记|AdaGAN

AdaGAN

本文为阅读论文AdaGAN: Boosting Generative Models的理解与心得，旨在总结阐述该论文的核心思想与算法。
论文原址

• AdaGAN
  • 符号说明
  • 算法流程
  • 算法实现
    • ChooseMixtureWeight
    • UpdateTraingWeights
  • 数学证明
    • 证明目标
    • 数学前提
      • f-divergence
      • GAN and f-divergences
      • Generative Mixture Models
    • 证明过程

符号说明

在本文中符号说明如下：

Notations	Meaning
Pd$P_d$	real data distribution
PTmodel$P_{model}^T$	mixture model distribution of T$T$ components
Pg$P_g$	the current generative mixture model before adding new component
PZ$P_Z$	noise distribution
Q$Q$	new component
X$\mathcal{X}$	data space
Z$\mathcal{Z}$	latent space
G$G$	generative function
DM$D_M$	mixture discriminator
Df$D_f$	f$f$-divergences
SN$S_N$	training sample

算法流程

AdaGAN算法流程如下

现在我们讨论的目标就是：
1. 证明这件事在数学上work；
2. 找到合适的ChooseMixtureWeight$ChooseMixtureWeight$和UpdateTraingWeights$UpdateTraingWeights$函数。
为了更直观地理解算法，而非论文，我们从后往前考虑该篇论文，即先看算法实现，再看数学证明。

算法实现

该论文提出的ChooseMixtureWeight$ChooseMixtureWeight$和UpdateTraingWeights$UpdateTraingWeights$函数如下：

ChooseMixtureWeight

根据GAN中使用的Jensen-Shannon divergence我们知道，dPg/dPd$d{P}_g/d{P}_d$可以由一个corresponding function h$h$与DM$D_M$的值产生联系，即，

dPgdPd(x)=h(DM(x))$$\frac{d{P}_g}{d{P}_d}(x)=h(D_M(x))$$

其中h(z)=1−zz$h(z)=\frac{1-z}{z}$。
在训练中，我们对于SN=(X1,X2,...,XN)$S_N=(X_1,X_2,...,X_N)$中的每一个训练样本Xi$X_i$的权重wi$w_i$做更新，算法如下：

wi=1βN(λ∗−(1−β)h(di))+$$w_i=\frac{1}{\beta N}({\lambda }^{\ast }-(1-\beta )h(d_i){)}_{+}$$

其中di=DM(Xi)$d_i=D_M(X_i)$。
对于上式，我们还缺少λ∗${\lambda }^{\ast }$和β$\beta$的计算，其中对于λ∗${\lambda }^{\ast }$，有

λ∗=β∑i∈L(λ∗)pi(1+1−ββ∑i∈L(λ∗)pih(di))$${\lambda }^{\ast }=\frac{\beta }{\sum _{i\in L({\lambda }^{\ast })}{p}_i}(1+\frac{1-\beta }{\beta }\sum _{i\in L({\lambda }^{\ast })}{p}_{i}h(d_i))$$

其中L(λ):={i:λ>(1−β)h(di)}$L(\lambda ):=\{i:\lambda >(1-\beta )h(d_i)\}$。

UpdateTraingWeights

βt=1/t${\beta }_t=1/t$，t$t$为迭代次数。

数学证明

就数学证明而言，我们首先要提出需要证明的结果，再推导证明过程。

证明目标

从算法流程中我们可以看出AdaGAN的核心思想是在每一次迭代中根据训练样本与混合权值训练一个弱生成器“weak” component generator Gct=GAN(SN,Wt)$G_t^c=GAN(S_N,W_t)$，再将这个弱生成器以加权的方式与上一次迭代的生成器混合得到本次迭代的生成器Gt=(1−βt)Gt−1+βtGct$G_t=(1-{\beta }_t)G_{t-1}+{\beta }_t{G}_t^c$。

那么我们需要证明的目标就是这个迭代递增的生成器所生成的概率分布是向数据集的概率分布收敛的，这个收敛的过程可以由Pt+1model$P_{model}^{t+1}$与Pd$P_d$的散度描述。用数学语言描述就是将GAN的

minGmaxDEPd[logD(X)]+EPZ[log1−D(G(Z))]$$\underset{G}{min}\underset{D}{max}{\mathbb{E}}_{P_d}[\log D(X)]+{\mathbb{E}}_{P_Z}[\log 1-D(G(Z))]$$

问题转化为

minQDf((1−β)Pg||Pd)$$\underset{Q}{min}{D}_f((1-\beta )P_g||P_d)$$

其中Pg:=Ptmodel$P_g:=P_{model}^t$（在符号说明中涉及）。Q$Q$为在第t+1$t+1$次迭代时添加的new component。

为了方便理解，此处将论文中未说明的Pd$P_d$与Q$Q$的关系做简要说明。Pg:=Ptmodel:=∑ti=1αiPi$P_g:=P_{model}^t:=\sum _{i=1}^t{\alpha }_i{P}_i$，其有t$t$ components。
Pt+1model:=(1−β)Ptmodel+βQ=∑ti=1(1−β)αiPi+βQ$P_{model}^{t+1}:=(1-\beta )P_{model}^t+\beta Q=\sum _{i=1}^t(1-\beta ){\alpha }_i{P}_i+\beta Q$，即Q$Q$为第t+1$t+1$component，且权值为β$\beta$，Pi+1=Q,αi+1=β$P_{i+1}=Q,{\alpha }_{i+1}=\beta$。
那么，如果Pg$P_g$逐渐向Pd$P_d$收敛，该算法对Q$Q$的需要程度将会减小，所以β$\beta$应是一个随迭代次数递减的数值。

但是我们知道，每一次都能得到最优解Q$Q$是不可能的，所以对于这个收敛问题，我们可以弱化为一个逐步收敛问题：

Df((1−β)Pg+βQ)≤c⋅Df(Pg||Pd)$$D_f((1-\beta )P_g+\beta Q)\le c\cdot D_f(P_g||P_d)$$

其中c<1$c<1$。

通过算法流程我们可以发现，每次迭代，wi$w_i$（训练权重）与DM(Xi)$D_M(X_i)$（分辨效果）成负相关。特别地，当DM(Xi)=1$D_M(X_i)=1$（认为生成的为True）时wi=0$w_i=0$，当DM(Xi)=0$D_M(X_i)=0$（认为生成的为False）时wi→∞$w_i\to \mathrm{\infty }$。即迭代增加Q$Q$的目的是改变训练权重Wt$W_t$，使第t+1$t+1$ 次训练着重于之前迭代中效果不好的数据集。

数学前提

f-divergence

首先我们讨论f−divergence$f-divergence$

Df(P||Q)=∫Ωf(dPdQ)dQ.$$D_f(P||Q)={\int }_{\mathrm{\Omega }}f(\frac{dP}{dQ})dQ.$$

用来衡量 分布 Q$Q$与 分布 P$P$的agreement（不是距离）。
如果P$P$和Q$Q$都对μ$\mu$在Ω$\mathrm{\Omega }$绝对连续，且dP=pdμ$dP=pd\mu$和dQ=qdμ$dQ=qd\mu$，则

Df(P||Q)=∫Ωf(p(x)q(x))q(x)dμ(x).$$D_f(P||Q)={\int }_{\mathrm{\Omega }}f(\frac{p(x)}{q(x)})q(x)d\mu (x).$$

常用的f−divergence$f-divergence$如下表所示

Divergence	Correspondingf(t)$f(t)$
KL-divergence	tlogt$t\log t$
Jensen-Shannon divergence	−(x+1)logx+12+xlogx$-(x+1)\log \frac{x+1}{2}+x\log x$
reverse KL-divergence	−logt$-\log t$
Hellinger distance	(t√−1)2,2(1−t√)$(\sqrt{t}-1{)}^2,2(1-\sqrt{t})$
Total variation distance	12|t−1|$\frac{1}{2}|t-1|$
X$\mathcal{X}$-divergence	(t−1)2,t2−1$(t-1{)}^2,t^2-1$
α$\alpha$-divergebce	f(x)=⎧⎩⎨⎪⎪41−α2(1−t(1+α)/2),α≠±1tlnt,α=1−lnt,α=−1$f(x)=\{\begin{array}{l}\frac{4}{1-{\alpha }^2}(1-t^{(}1+\alpha )/2),\alpha \ne \pm 1\\ t\ln t,\alpha =1\\ -\ln t,\alpha =-1\end{array}$

AdaGAN的后续推导需要用到f−divergence$f-divergence$的三个性质：

• Non-negativity：f−divergence$f-divergence$始终为正；当且仅当P$P$和Q$Q$重合时，它为0。
  
  Df(P||Q)=∫f(dPdQ)dQ≥f(∫dPdQdQ)=f(1)=0.$$D_f(P||Q)=\int f(\frac{dP}{dQ})dQ\ge f(\int \frac{dP}{dQ}dQ)=f(1)=0.$$
• Monotonicity：如果κ$\kappa$是任意过渡概率使P$P$和Q$Q$相应地变为Pκ$P_{\kappa }$和Qκ$Q_{\kappa }$，然后
  
  Df(P||Q)≥Df(Pκ||Qκ).$$D_f(P||Q)\ge D_f(P_{\kappa }||Q_{\kappa }).$$
• Joint Convexity：对于任何0≥λ≥1$0\ge \lambda \ge 1$
  
  Df(λP1+(1−λ)P2||λQ1+(1−λ)Q2)≤λDf(P1||Q1)+(1−λ)Df(P2||Q2)$$D_f(\lambda P_1+(1-\lambda )P_2||\lambda Q_1+(1-\lambda )Q_2)\le \lambda D_f(P_1||Q_1)+(1-\lambda )D_f(P_2||Q_2)$$

更多关于KLdivergence$KLdivergence$的知识见Kullback-Leibler Divergence Explained

GAN and f-divergences

GAN 原式：

minGmaxDEPd[logD(X)]+EPZ[log(1−D(G(Z)))]$$\underset{G}{min}\underset{D}{max}{\mathbb{E}}_{P_d}[\log D(X)]+{\mathbb{E}}_{P_Z}[\log (1-D(G(Z)))]$$

Generative Mixture Models

将复杂数据分布描述为T$T$个模型，则有：

PTmodel=∑i=1TαiPi$$P_{model}^T=\sum _{i=1}^T{\alpha }_i{P}_i$$

证明过程

---