学习笔记——机器学习--高斯判别分布与逻辑回归之间巧合

  本文讲有关高斯判别分布与逻辑回归之间有趣的联系。

  假设有一个训练集合，包含一些负样本和一些正样本。现对每一类样本拟合出一个概率密度函数，则如图所示分别拟合出P(x|y=0);P(x|y=1)$P(x|y=0);P(x|y=1)$两类高斯概率密度函数，同时也会拟合出伯努利分布P(y)$P(y)$。则

P(x)=P(x|y=0)P(y=0)+P(x|y=1)P(y=1)$$P(x)=P(x|y=0)P(y=0)+P(x|y=1)P(y=1)$$

  现沿着x$x$轴进行取值并画出P(y=1|x)$P(y=1|x)$。

当x$x$取水平轴上的很小值x1$x_1$时，求出

P(y=1|x)=P(x|y=1)P(y=1)P(x)$$P(y=1|x)=\frac{P(x|y=1)P(y=1)}{P(x)}$$

因为x$x$很小，如图，很明显它属于左侧高斯分布，所以属于正样本类的可能性非常小，几乎为0。稍微增加x$x$，取一个新的值x2$x_2$。画出相应的P(y=1|x)$P(y=1|x)$，它仍然很小，当取正负样本的交叉点x3$x_3$时，P(y=1|x)$P(y=1|x)$.算不出来，也许为0.5。 当取x4$x_4$时，P(y=1|x)$P(y=1|x)$几乎为1.

  填充更多的点，大致画出一条曲线形状和逻辑回归中使用的Sigmoid函数曲线的形状很相似，但实际是不一样的。是个非常有意思的巧合吧！