探索贝叶斯

“概率论只不过是把常识用数学公式表达了出来”——拉普拉斯

联合概率

联合概率指的是包含多个条件且所有条件同时成立的概率，记作 $P(X=a,Y=b)$ 或 $P(a,b)$ ，有的书上也习惯记作P(ab)。

边缘概率

边缘概率与联合概率对应， $P(X=a)$ 或 $P(Y=b)$ ，这类仅与单个随机变量有关的概率称为边缘概率。

联合概率与边缘概率的关系

$P(X=a) = \sum_{b}P(X=a, Y=b)$
$P(Y=b)= \sum_{a}P(X=a,Y=b)$

求和符号表示穷举所有Y（或X）所能取得b（或a）后，所对应值相加得到的和。

先验概率

长相极为相似的的双胞胎兄弟，单从长相上很难对两人进行区分，但两人的喜好却存在较大差异。其中，哥哥喜好照相，弟弟不太喜欢。两人的父母为兄弟二人定制了一本内含1000张照片的相册。其中，有哥哥的照片900张，弟弟的照片100张。现从中任取一张照片，让猜一下是谁的照片。本来，因为照片是随机选取的，不论猜是谁的均可能猜错或猜中。但是，如果事先知道两人的喜好，则猜是哥哥的照片，猜中的概率会大一点。这种先于某个事件的发生就已知道的概率称为先验概率。
对于先验概率而言，有下面的结果。设哥哥的照片全体组成类别 $w_1$ ，弟弟的照片全体组成类别 $w_2$ ，并用 $P(w_1)$ 和 $P(w_2)$ 分别表示两个类别发生的先验概率，则有
$P(w_1)+P(w_2)=1$

类条件概率密度（似然）

它被定义为在输入模式属于某个类别 $w$ 的条件下，观测样本作为 $X$ 出现的概率密度函数，用 $p(X|w)$ 表示。显然，它反映了类别 $w$ 的样本在所属特征空间中的分布情况。
通常假定类条件概率密度函数的函数形式及主要参数是已知的，或者可以通过大量的抽样试验进行估计。

后验概率

它被定义为在观测样本 $X$ 被观测的情况下，该观测样本属于某个类别 $w$ 的概率，用 $p(w|X)$ 表示。后验概率可以根据贝叶斯公式进行计算。它可以用作进行分类判决的依据。

条件概率

条件概率：设 $A,B$ 为两事件，且 $P(A)>0$ ，称
$P(B|A) = \frac{P(AB)}{P(A)}$
为在事件 $A$ 发生条件下 $B$ 事件发生的条件概率。
将条件概率公式移项即得乘法公式：
设 $P(A)>0$ ，则有
$P(AB)=P(A)P(B|A)=P(B)P(A|B)$

若事件 $A$ 与事件 $B$ 相互独立，那么：
$P(AB)=P(A)P(B)$

相互独立：表示两个事件发生互不影响
互斥：表示两个事件不能同时发生
互斥事件一定不独立（一件事情的发生导致了另一件事情不能发生）
独立事件一定不互斥（如果独立事件互斥，那么根据互斥事件一定不独立，那么就会产生矛盾）

全概率公式

例，小张从家到公司上班总共有三条路可以直达,（如下图），但是每条路每天拥堵的可能性不太一样，由于路的远近不同，选择（互斥）每条路的概率如下：
$p(B_1)=0.5,p(B_2)=0.3,p(B_3)=0.2$
每天上述三条路不拥堵的概率分别为：
$p(A_1)=0.2,p(A_2)=0.4,p(A_3)=0.7$
假设遇到拥堵会迟到，那么小张从家到公式不迟到的概率是多少？
探索贝叶斯

则不拥堵的概率为：
不迟到对应着不拥堵，设事件 $A$ 为到公司不迟到，事件 $B_i$ 为选择第 $i$ 条路，则：
$p(A)=p(B_1)\times{p(A|B_1)}+p(B_2)\times{p(A|B_2)}+p(B_3)\times{p(A|B_3})$

全概率公式就是表示达到某个目的，有多种方式（或者造成某种结果，有多种原因），问达到目的的概率是多少（造成这种结果的概率是多少）?

全概率公式：设实验 $E$ 的样本空间为 $S$ ， $A$ 为 $E$ 的事件，若 $B_1,B_2, ···,B_n$ 为 $S$ 的一个完备事件组（或称为 $S$ 的一个划分），即满足条件

探索贝叶斯

贝叶斯公式

仍借用上述例子，问题修改为：到达公司未迟到选择第1条路的概率是多少？
在这里需要在未迟到的基础上得出这个概率。
故有：
$\begin{aligned} &p(B_1|A) = \frac{p(A|B_1)\times{B_1}}{p(A)} \end{aligned}$
将 $p(A)$ 按全概率公式展开得：
$p(B_1|A) = \frac{p(A|B_1)\times{p(B_1)}} {p(B_1)\times{p(A|B_1)} + p(B_2)\times{p(A|B_2)}+p(B_3)\times{p(A|B_3)}}$

贝叶斯公式就是当已知结果，问导致这个结果的第i原因的可能性是多少？执果索因！

贝叶斯公式：设试验 $E$ 的样本空间为 $S$ ， $A$ 为 $E$ 的事件， $B_1,B_2, ···,B_n$ 为 $S$ 的一个完备事件组，即 $S$ 的一个划分，且 $P(A)>0, P(B_i)>0, i=1,2,···,n$ ，则
$P(B_i|A) = \frac{P(B_i)P(A|B_i)}{ \sum_{j=1}^nP(B_j)P(A|B_j)}$

探索贝叶斯