贝叶斯网与链式法则的理解

定义

首先给出贝叶斯网络的定义：贝叶斯网络是一个有向无环图（DAG: Direct Acyclic Graph），图的节点表示随机变量X1, X2, …
图中每个节点的条件概率分布（CPD: conditional probability distribution）为

P(Xi|ParG(Xi)))=P(Xi|X1,X2,...,Xn)

• 其中ParG(Xi)就表示除了Xi以外的所有节点。公式中的逗号表示“与”的关系。

是不是不太好理解？不用担心，下面用实例告诉你怎么理解个定义和公式。

一个活生生的贝叶斯网络例子

下图中的有向无环图就是一个贝叶斯网络。

图中一共有5个随机变量：

• Difficulty：表示一门课程的难度
  
  • d0表示简单，d1表示难
• Intelligence：表示一个学生的智商
  
  • i0表示智商一般，i1表示智商很高
• Grade：某门课程考试的成绩
  
  • g1(A), g2(B), g3(C)分别表示成绩为A，B，C（A表示成绩最好）
• SAT：SAT考试成绩
  
  • s0表示低分，s1表示高分
• Letter：获得推荐信
  
  • l0表示获得一般的推荐信，l1表示获得很好的推荐信

从这个图中，我们可以看出

• (1) 某门课程考试成绩G，只与课程的难度D和学生的智商I有关系，即

P(G|Par(G))=P(G|D,I,S,L)=P(G|D,I)

由这个结论，可以将贝叶斯网的链式法则简化如下：

P(I,D,G,S,L)=P(I)P(D)P(G|I,D)P(S|I)P(L|G)

• (2) P(g1(A)|i1,d0)=0.9说明，智商很好（i1）的学生，在课程难度很低（d0）的情况下，该门课程的考试成绩得A（g1(A)）的概率较高（0.9）。

• (3) 聪明的学生（i1），在一门简单课程（d0）的考试中取得B（g2(B)），还在SAT考试中取得高分（s1），并且获得一般推荐信（l0）的概率，用下式表示

P(i1,d0,g2(B),s1,l0)=P(i1)P(d0)P(g2(B)|i1,d0)P(s1|i1)P(l0|g2(B))

• (4) 从图中可以看出，D与S是相互独立的事件，即P(D|S)=P(D)。表示为D⊥S。

理解了这四个点，也就知道贝叶斯网络能表示的内容了。

参考

• 概率图模型：原理与技术。作者：Daphne Koller