不确定性推理（计算智能，联合概率分布）

记录一下联合概率分布，以及概率推理。

概率公理

对于任意的命题A，B

• $0 \le P(A) \le 1$0≤P(A)≤1
• $P(true) = 1$P(true)=1 and $P(false) = 0$P(false)=0
• $P(A \cap B) = P(A) + P(B) - P(A \cap B)$P(A∩B)=P(A)+P(B)−P(A∩B)

先验概率

命题的先验概率/无条件概率：没有任何其他信息存在的情况下关于命题的信度。

先验概率分布：对所有可能的情况分配概率值（是一个分布，有多个值），如：
$P(Weather) = &lt;0.72, 0.1, 0.08, 0.1&gt; (需要归一化）$P(Weather)=<0.72,0.1,0.08,0.1>(需要归一化）。

联合概率分布：对随机变量集合给出所有可能的条件取值$P(Weather, Cavity) = 一个4*2 的矩阵$P(Weather,Cavity)=一个4∗2的矩阵：

任何一个概率查询都能够从全联合概率分布得到解答

条件概率

• 条件概率/后验概率： 得到关于随机变量的某些证据（分母），即在某些情况下，所求命题的概率：如$P(cavity | toothache) = 0.8 ，当toothache已知的前提下有cavity的概率 $
• 条件概率分布的表示：$P(Cavity | Toothache) = 2维向量）
• 若我们有额外的 证据，若cavity已知，那$p(cavity | toothache, cavity) = 1$p(cavity∣toothache,cavity)=1
• 若两个时间间不相关则概率式子可以简化， 如 $p(cavity | toothache, sunny) = P(cavity | toothache) = 0.8$p(cavity∣toothache,sunny)=P(cavity∣toothache)=0.8
• 以上的这些判断都是依赖于领域知识的，就是针对具体事件的。

条件概率：$P(a | b) = P(a \cap b)/ P(b)$P(a∣b)=P(a∩b)/P(b) if $P(b) &gt; 0$P(b)>0乘法规则：$P(a \cap b) = P(a | b)P(b) = P(b | a)P(a)$P(a∩b)=P(a∣b)P(b)=P(b∣a)P(a)。联合概率分布可以写成条件分布的形式$P(Weather , Cavity) = P(Weather | Cavity)P(Cavity)$P(Weather,Cavity)=P(Weather∣Cavity)P(Cavity)

联合概率分布可以使用链式法则：

利用全联合分布进行推理

全联合分布：

对于任意命题$\psi$ψ, 计算所有为真的原子命题：$p(\psi) = \sum_\omega \psi p(\omega)$p(ψ)=∑ω​ψp(ω)

如上，$P(toothache) = 0.108+0.012=0.016+0.064 = 0.2$P(toothache)=0.108+0.012=0.016+0.064=0.2

全联合概率分布：

$P(cavity \vee toothache) = 0.018+0.012+0.016+0.064+0.072+0.008 = 0.28$P(cavity∨toothache)=0.018+0.012+0.016+0.064+0.072+0.008=0.28

计算条件概率

$p(\neg cavity \cap toothache) = P(\neg cavity \cap toothache) /P(toothache) = {(0.016 + 0.064)}/{(0.108 + 0.012 + 0.016 + 0.064)} = 0.4$p(¬cavity∩toothache)=P(¬cavity∩toothache)/P(toothache)=(0.016+0.064)/(0.108+0.012+0.016+0.064)=0.4

归一化

分母可以看成一个归一化常数a，因为分母是一个常数，所以直接用a表示：

计算询问变量的概率分布，是通过固定证据变量（分母），然后对隐变量求和计算得到的。

一般的，我们求的是已知证据变量E情况下的查询变量Y的后验概率分布。隐变量为：H = X - Y - E。

证据变量和查询变量的联合分布是通过对隐变量求和得到：
$P(Y | E = e) = aP(Y,E = e) = a\sum hP(Y,E = e, H = h)$P(Y∣E=e)=aP(Y,E=e)=a∑hP(Y,E=e,H=h)

独立性

A，B独立当且仅当：
$P(A | B) = P(A)$P(A∣B)=P(A) or $P(B | A) = P(B)$P(B∣A)=P(B) or $P(A, B) = P(A)P(B)$P(A,B)=P(A)P(B)
通过条件独立，可以在一定程度上减少概率分布的表的一些不必要的数据。
$P(catch | toothache, cavity) = P(catch | cavity)$P(catch∣toothache,cavity)=P(catch∣cavity)

贝叶斯规则

利用贝叶斯规则和条件独立性解下题：

$P(Cavity | toothache \vee catch) = P(toothache \vee catch | Cavity)P(Cavity) / P(toothache \vee catch) = aP(toothache \vee catch | Cavity)P(Cavity) = aP(toothache|Cavity)P(catch|Cavity)P(Cavity) = a&lt;0.108, 0.016&gt; \approx &lt;0.871,0.129&gt;$P(Cavity∣toothache∨catch)=P(toothache∨catch∣Cavity)P(Cavity)/P(toothache∨catch)=aP(toothache∨catch∣Cavity)P(Cavity)=aP(toothache∣Cavity)P(catch∣Cavity)P(Cavity)=a<0.108,0.016>≈<0.871,0.129>
上面式子倒数第二步直接分开，是因为toothache和catch是条件独立的。

这道题还有一些疑问，等得到正确解答，就贴上来。