第14章 概率模型--马尔可夫随机场

马尔可夫随机场（Markov Random Field，简称MRF）是典型的马尔可夫网，这是一种著名的无相图模型。图中每个节点表示一个或一组变量，节点之间的边表示两个变量之间的依赖关系。马尔可夫随机场有一组势函数（potential functions），亦称“因子”（factor），这是定义在变量子集上的非负实函数，主要用于定义概率分布函数。
图2显示出一个简单的马尔可夫随机场。对于图中节点的一个子集，若其中任意两节点间都有边连接，则称该节点子集为一个“团”（clique）。若在一个团中加入令外任何一个节点都不再形成团，则称该团为“极大团”（maximal clique）；换言之，极大团就是不能被其他团所包含的团。例如图2中，{x1,x2},{x1,x3},{x2,x4},{x2,x5},{x2,x6},{x3,x5},{x5,x6}$\{x_1,x_2\},\{x_1,x_3\},\{x_2,x_4\},\{x_2,x_5\},\{x_2,x_6\},\{x_3,x_5\},\{x_5,x_6\}$和{x2,x5,x6}$\{x_2,x_5,x_6\}$都是团，并且除了{x2,x5},{x2,x6}$\{x_2,x_5\},\{x_2,x_6\}$和{x5,x6}$\{x_5,x_6\}$之外都是极大团；但是，因为{x2}$\{x_2\}$和{x3}$\{x_3\}$之间缺乏连接，{x1,x2,x3}$\{x_1,x_2,x_3\}$并不构成团。显然，每个节点至少出现在一个极大团中。

图2 一个简单的马尔可夫随机场

在马尔可夫随机场中，多个变量之间的联合概率分布能基于团分解为多个因子的乘积，每个因子仅与一个团相关。具体来说，对于n$n$个变量x={x1,x2,...,xn}$x=\{x_1,x_2,...,x_n\}$，所有团构成的集合为C$C$，与团Q∈C$Q\in \mathcal{C}$对应的集合记为xQ${\mathbf{x}}_Q$，则联合概率P(x)$P(x)$定义为

P(x)=1Z∏Q∈CψQ(xQ)（2）$$P(x)=\frac{1}{Z}\prod _{Q\in \mathcal{C}}{\psi }_Q({\mathbf{x}}_Q)（2）$$

其中ψQ${\psi }_Q$为团Q$Q$对应的势函数，用于对团Q$Q$中的变量关系进行建模，Z=∑x∏Q∈CψQ(xQ)$Z=\sum _x\prod _{Q\in \mathcal{C}}{\psi }_Q({\mathbf{x}}_Q)$为规范化因子，以确保P(x)$P(x)$是被正确定义的概率。在实际应用中，精确计算Z$Z$通常很困难，但许多任务往往并不需要获得Z$Z$的精确值。
显然，若变量个数较多，则团的数目将会很多（例如，所有相互连接的两个变量都会构成团），这就意味着式（2）会有很多乘积项，显然会给计算带来负担。注意到若团Q$Q$不是极大团，则它必被一个极大团Q∗$Q^{\ast }$所包含，即xQ⊆xQ∗${\mathbf{x}}_Q\subseteq {\mathbf{x}}_{Q^{\ast }}$；这意味着变量xQ${\mathbf{x}}_Q$之间的关系不仅体现在势函数ψQ${\psi }_Q$中，还体现在ψQ∗${\psi }_{Q^{\ast }}$中。于是，联合概率P(x)$P(x)$可基于极大团来定义。假定所有极大团构成的集合为C∗${\mathcal{C}}^{\ast }$，则有

P(x)=1Z∗∏Q∈C∗ψQ(xQ)（3）$$P(x)=\frac{1}{Z^{\ast }}\prod _{Q\in {\mathcal{C}}^{\ast }}{\psi }_Q(x_Q)（3）$$

其中Z∗=∑x∏Q∈C∗ψQ(xQ)$Z^{\ast }={\sum }_x{\prod }_{Q\in {\mathcal{C}}^{\ast }}{\psi }_Q(x_Q)$为规范化因子。例如图2中x={x1,x2,...,x6}$x=\{x_1,x_2,...,x_6\}$，联合概率分布为P(x)$P(x)$定义为

P(x)=1Zψ12(x1,x2)ψ13(x1,x3)ψ24(x2,x4)ψ35(x3,x5)ψ256(x2,x5,x6),$$P(x)=\frac{1}{Z}{\psi }_{12}(x_1,x_2){\psi }_{13}(x_1,x_3){\psi }_{24}(x_2,x_4){\psi }_{35}(x_3,x_5){\psi }_{256}(x_2,x_5,x_6),$$

其中，势函数ψ256(x2,x5,x6)${\psi }_{256}(x_2,x_5,x_6)$定义在极大团{x2,x5,x6}$\{x_2,x_5,x_6\}$上，由于它的存在，使我们不再需要为团{x2,x5},{x2,x6}$\{x_2,x_5\},\{x_2,x_6\}$和{x5,x6}$\{x_5,x_6\}$构建势函数。
在马尔可夫随机场中如何得到“条件独立性”呢？同样借助“分离”的概念，如图3所示，若从节点集A$A$中的节点到B$B$中的节点都必须经过节点集C$C$中的节点，则称节点集A$A$和B$B$被节点集C$C$分离，C$C$称为“分离集”（Separating Set）。对马尔可夫场，有
·“全局马尔可夫性”（Global Markov Property）：给定两个变量子集的分离集，则这两个变量子集条件独立。
也就是说，图3中若令A,B和C$A,B和C$对应的变量集分别为xA,xB和xC$x_A,x_B和x_C$，则xA和xB$x_A和x_B$在给定xC$x_C$的条件下独立，记为xA⊥xB|xC$x_A\mathrm{\perp }{x}_B|x_C$。

图3 节点集A$A$和B$B$被节点集C分离

下面我们做一个简单的验证。为便于讨论，我们令图3中的A,B和C$A,B和C$分别对应单变量xA,xB和xC$x_A,x_B和x_C$，于是图3简化为图4。

图4 图3的简化版

对于图4，由式（2）可得联合概率

P(xA,xB,xC)=1ZψAC(xA,xC)ψBC(xB,xC)（4）$$P(x_A,x_B,x_C)=\frac{1}{Z}{\psi }_{AC}(x_A,x_C){\psi }_{BC}(x_B,x_C)（4）$$

基于条件概率的定义可得

P(xA,xB|xC)=P(xA,xB,xC)P(xC)=P(xA,xB,xC)∑x′A∑x′BP(x′A,x′B,xC)=1ZψAC(xA,xC)ψBC(xB,xC)∑x′A∑x′B1ZψAC(x′A,xC)ψBC(x′B,xC)=ψAC(xA,xC)∑x′AψAC(x′A,xC)⋅ψBC(xB,xC)∑x′BψBC(x′B,xC)（5）(23)(24)(25)$$\begin{array}{}\text{(23)}& P(x_A,x_B|x_C)& =\frac{P(x_A,x_B,x_C)}{P(x_C)}=\frac{P(x_A,x_B,x_C)}{\sum _{x_A^{{}^{\prime }}}\sum _{x_B^{{}^{\prime }}}P(x_A^{{}^{\prime }},x_B^{{}^{\prime }},x_C)}\text{(24)}& & =\frac{\frac{1}{Z}{\psi }_{AC}(x_A,x_C){\psi }_{BC}(x_B,x_C)}{\sum _{x_A^{{}^{\prime }}}\sum _{x_B^{{}^{\prime }}}\frac{1}{Z}{\psi }_{AC}(x_A^{{}^{\prime }},x_C){\psi }_{BC}(x_B^{{}^{\prime }},x_C)}\text{(25)}& & =\frac{{\psi }_{AC}(x_A,x_C)}{\sum _{x_A^{{}^{\prime }}}{\psi }_{AC}(x_A^{{}^{\prime }},x_C)}·\frac{{\psi }_{BC}(x_B,x_C)}{\sum _{x_B^{{}^{\prime }}}{\psi }_{BC}(x_B^{{}^{\prime }},x_C)}（5）\end{array}$$

P(xA|xC)=P(xA,xC)P(xC)=∑x′BP(xA,x′B,xC)∑x′A∑x′BP(x′A,x′B,xC)=∑x′B1ZψAC(xA,xC)ψBC(x′B,xC)∑x′A∑x′B1ZψAC(x′A,xC)ψBC(x′B,xC)=ψAC(xA,xC)∑x′AψAC(x′A,xC)（6）(128)(129)(130)$$\begin{array}{}\text{(128)}& P(x_A|x_C)& =\frac{P(x_A,x_C)}{P(x_C)}=\frac{\sum _{x_B^{{}^{\prime }}}P(x_A,x_B^{{}^{\prime }},x_C)}{\sum _{x_A^{{}^{\prime }}}\sum _{x_B^{{}^{\prime }}}P(x_A^{{}^{\prime }},x_B^{{}^{\prime }},x_C)}\text{(129)}& & =\frac{\sum _{x_B^{{}^{\prime }}}\frac{1}{Z}{\psi }_{AC}(x_A,x_C){\psi }_{BC}(x_B^{{}^{\prime }},x_C)}{\sum _{x_A^{{}^{\prime }}}\sum _{x_B^{{}^{\prime }}}\frac{1}{Z}{\psi }_{AC}(x_A^{{}^{\prime }},x_C){\psi }_{BC}(x_B^{{}^{\prime }},x_C)}\text{(130)}& & =\frac{{\psi }_{AC}(x_A,x_C)}{\sum _{x_A^{{}^{\prime }}}{\psi }_{AC}(x_A^{{}^{\prime }},x_C)}（6）\end{array}$$

由式（5）和式（6）可知

P(xA,xB|xC)=P(xA|xC)P(xB|xC)（7）$$P(x_A,x_B|x_C)=P(x_A|x_C)P(x_B|x_C)（7）$$

即xA$x_A$和xB$x_B$在给定xC$x_C$时条件独立。
由全局马尔可夫得到两个很有用的推论：

（1）局部马尔可夫性（Local Markov Property）：给定某个变量的邻接变量，则该变量条件独立于其他变量，形式化地说，令V$V$为图的节点集，n(v)$n(v)$为节点v$v$上的邻接节点，n∗(v)=n(v)∪{v}$n^{\ast }(v)=n(v)\cup \{v\}$，有xv⊥xV\n∗(x)|xn(v)$x_v\mathrm{\perp }{x}_{V{\text{n}}^{\ast }(x)}|x_{n(v)}$。
（2）成对马尔可夫性（Pairwise Markov P roperty）：给定所有其它变量，两个非邻接变量条件独立。形式化地说，令图的节点集和边集分别为V$V$和E$E$，对图中的两个节点u$u$和v$v$，若⟨u,v⟩∉E$⟨u,v⟩\notin E$，则xu⊥xv|xV∖⟨u,v⟩$x_u\mathrm{\perp }{x}_v|x_{V\setminus ⟨u,v⟩}$。

现在我们来考察马尔可夫随机场中的势函数。显然，势函数ψQ(xQ)${\psi }_Q(x_Q)$的作用是定量刻画变量集xQ$x_Q$中变量之间的相关关系，它应该是非负函数，且在所偏好的变量取值上有较大函数值。例如，假定图4中的变量均为二值变量，若势函数为

ψAC(xA,xC)={1.5,0.1,if xA=xC;otherwise.$${\psi }_{AC}(x_A,x_C)=\{\begin{array}{ll}1.5,& \text{if }{x}_A=x_C\text{;}\\ 0.1,& \text{otherwise.}\end{array}$$

ψBC(xB,xC)={0.2,1.3,ifxB=xC;otherwise.$${\psi }_{BC}(x_B,x_C)=\{\begin{array}{ll}0.2,& \text{if}{x}_B=x_C;\\ 1.3,& \text{otherwise}.\end{array}$$

则说明该模型偏好变量xA$x_A$与xC$x_C$拥有相同的取值，xB$x_B$与xC$x_C$拥有不同的取值；换言之，在该模型中xA$x_A$与xC$x_C$正相关，xB$x_B$与xC$x_C$负相关。结合式（2）易知，令xA$x_A$与xC$x_C$相同且xB$x_B$与xC$x_C$不同的变量值指派将取得较高的联合概率。

为了满足非负性，指数函数常被用于定义势函数，即

ψQ(xQ)=e−HQ(xQ)（8）$${\psi }_Q(x_Q)=e^{-H_Q(x_Q)}（8）$$

HQ(xQ)$H_Q(x_Q)$是一个定义在变量xQ$x_Q$上的实值函数，常见形式为

HQ(xQ)=∑u,v∈Q,u≠vαuvxuxv+∑v∈Qβvxv,（9）$$H_Q(x_Q)=\sum _{u,v\in Q,u\ne v}{\alpha }_{uv}{x}_u{x}_v+\sum _{v\in Q}{\beta }_v{x}_v,（9）$$

其中αuv${\alpha }_{uv}$和βv${\beta }_v$是参数。上式中的第二项仅考虑单节点，第一项则考虑每一对节点的关系。