PRML书中公式（1.118）KL散度恒大于等于 0的推导

PRML公式（1.118）是关于Kullback-Leibler散度恒大于等于 0
$KL(p||q)=-\int p(x)ln \bigg \{ \frac{q(x)}{p(x)} \bigg \} dx \geq -ln \int q(x)dx=0 \tag{1.118}$KL(p∣∣q)=−∫p(x)ln{p(x)q(x)​}dx≥−ln∫q(x)dx=0(1.118)
书上说可以用公式（1.117）得到（1.118）的结果。
$f \bigg ( \int xp(x)dx \bigg ) \leq \int f(x)p(x)dx \tag{1.117}$f(∫xp(x)dx)≤∫f(x)p(x)dx(1.117)
我自己怎么推也推不过去。公式（1.116）看上去可以借鉴。
$f(E[x]) \leq E[f(x)] \tag{1.116}$f(E[x])≤E[f(x)](1.116)
如果把$f()$f() 换成 $-ln()$−ln() , 把 $x$x 换成 $\frac{q(x)}{p(x)}$p(x)q(x)​ 好像可以得到（1.118）的结果。但积分中$dx$dx 中的$x$x 怎样处理呢？

谷歌发现 More PRML Rrrata ，在第7页中给出了Jensen’s inequality in terms of random variables（含隐随机变量的Jensen不等式）。
$f(E_z[\xi(z)]) \leq E_z[f(\xi(z))] \tag{21}$f(Ez​[ξ(z)])≤Ez​[f(ξ(z))](21)

(21) 比 (1.116)具有更广的通用性（giving a result slightly more general than (1.116)）。

把$f()$f() 换成 $-ln()$−ln() , 把 $\xi(z)$ξ(z) 换成 $\frac{q(x)}{p(x)}$p(x)q(x)​ 带入 (21) 就可以得到(1.118) 的结果。

$E_x[f(\xi(x))]\geq f(E_x[\xi(x)]) \\ \quad \\ E_x[-ln(\frac{q(x)}{p(x)})] \geq -ln(E_x[\frac{q(x)}{p(x)}]) \\ \quad \\ -\int ln \bigg \{ \frac{q(x)}{p(x)} \bigg \} p(x)dx \geq -ln \int \frac{q(x)}{p(x)}p(x)dx \\ \quad \\ -\int p(x) ln\bigg \{ \frac{q(x)}{p(x)} \bigg \} dx \geq -ln \int q(x)dx=0 \\ \quad \\ KL(p||q) \geq 0 \tag{A}$Ex​[f(ξ(x))]≥f(Ex​[ξ(x)])Ex​[−ln(p(x)q(x)​)]≥−ln(Ex​[p(x)q(x)​])−∫ln{p(x)q(x)​}p(x)dx≥−ln∫p(x)q(x)​p(x)dx−∫p(x)ln{p(x)q(x)​}dx≥−ln∫q(x)dx=0KL(p∣∣q)≥0(A)

More PRML Rrrata 给出了图像方式的“证明”。

---