笔记：ML-LHY-4 Classification

Classification 和 Regression

不建议用Regression来做Classification ，Regression函数为了得到更小的loss，会拟合右图右下角的点，导致拟合出紫色的函数。而对于分类，绿色的线更好。也就是Regression会 惩罚那些“太正确”的例子……

理想的做法

$y=f(g(x))= \begin{cases} 1& \text{g(x)>0}\\ 0& \text{other} \end{cases}$y=f(g(x))={10​g(x)>0other​
损失：
$L(f)=\sum_{n} \delta\left(f\left(x^{n}\right) \neq \hat{y}^{n}\right)$L(f)=n∑​δ(f(xn)​=y^​n)
有以下方法可以找到最好的function: Perceptron, SVM

概率论方法

回顾:贝叶斯公式、最大似然估计法

还是先把贝叶斯公式写出来：
$P(C_1\mid x) = \frac{P(C_1x)}{P(x)} = \frac{P\left(x \mid C_{1}\right) P\left(C_{1}\right)}{P\left(x \mid C_{1}\right) P\left(C_{1}\right)+P\left(x \mid C_{2}\right) P\left(C_{2}\right)}$P(C1​∣x)=P(x)P(C1​x)​=P(x∣C1​)P(C1​)+P(x∣C2​)P(C2​)P(x∣C1​)P(C1​)​
稍微解释下：
$P(C_1x)$P(C1​x)表示是$x$x且为$C_1$C1​类的概率，拆分为2步：先求发生$x$x的概率$P(x)$P(x)，然后求$x$x发生的条件下为$C_1$C1​类的概率$P(C_1\mid x)$P(C1​∣x)，所以$P(C_1\mid x) \ge P(C_1x)=P(C_1\mid x)P(x)$P(C1​∣x)≥P(C1​x)=P(C1​∣x)P(x)

其中$P(C_1)$P(C1​)和$P(C_2)$P(C2​)是已知的，可以直接得到。而$P\left(x \mid C_{1}\right)$P(x∣C1​)和$P\left(x \mid C_{2}\right)$P(x∣C2​)是需要使用最大似然(Maximum Likelihood)估计求得$C_1$C1​、$C_2$C2​上的概率分布后再求$x$x的概率值
可以假设分布是高斯分布:
$f_{\mu, \Sigma}(x)=\frac{1}{(2 \pi)^{D / 2}} \frac{1}{|\Sigma|^{1 / 2}} \exp \left\{-\frac{1}{2}(x-\mu)^{T} \Sigma^{-1}(x-\mu)\right\}$fμ,Σ​(x)=(2π)D/21​∣Σ∣1/21​exp{−21​(x−μ)TΣ−1(x−μ)}

找一组$\mu$μ和$\Sigma$Σ使得似然函数最大：
$L(\mu, \Sigma)=f_{\mu, \Sigma}\left(x^{1}\right) f_{\mu, \Sigma}\left(x^{2}\right) f_{\mu, \Sigma}\left(x^{3}\right) \ldots \ldots f_{\mu, \Sigma}\left(x^{79}\right)$L(μ,Σ)=fμ,Σ​(x1)fμ,Σ​(x2)fμ,Σ​(x3)……fμ,Σ​(x79)

求得：
$\mu^{*}=\frac{1}{79} \sum_{n=1}^{79} x^{n}$μ∗=791​∑n=179​xn， $\Sigma^{*}=\frac{1}{79} \sum_{n=1}^{79}\left(x^{n}-\mu^{*}\right)\left(x^{n}-\mu^{*}\right)^{T}$Σ∗=791​∑n=179​(xn−μ∗)(xn−μ∗)T
所以可以求得$P(C_1x)$P(C1​x)，但是准确率不高，从下图也可以看到这种分布不好区分。

如果每个class都有个 $\Sigma$Σ的话参数会非常多，如果特征到7维，还会更多，会造成overfiting
修改模型：$C_1$C1​和$C_2$C2​的$\Sigma$Σ一样，其中$\Sigma=\frac{79}{140} \Sigma^{1}+\frac{61}{140} \Sigma^{2}$Σ=14079​Σ1+14061​Σ2

准确率提升到73%，而且边界是线性的。下面会说明为什么会变成线性。

朴素贝叶斯方法

前提是各个特征独立

求概率可以直接写成：
$P\left(x \mid C_{1}\right)=P\left(x_{1} \mid C_{1}\right) P\left(x_{2} \mid C_{1}\right) \quad \ldots \ldots \quad P\left(x_{k} \mid C_{1}\right) \ldots \ldots$P(x∣C1​)=P(x1​∣C1​)P(x2​∣C1​)……P(xk​∣C1​)……

分布函数也不一定就是高斯分布，如果是特征是2项分布，非黑即白，那么分布函数就写成Bernoulli分布(几何分布)

Warning

下面推导就是为了表面为什么共享使用$\Sigma$Σ后分界线会变成线性的

${l} P\left(C_{1} \mid x\right)=\frac{P\left(x \mid C_{1}\right) P\left(C_{1}\right)}{P\left(x \mid C_{1}\right) P\left(C_{1}\right)+P\left(x \mid C_{2}\right) P\left(C_{2}\right)} \\\\ =\frac{1}{1+\frac{P\left(x \mid C_{2}\right) P\left(C_{2}\right)}{P\left(x \mid C_{1}\right) P\left(C_{1}\right)}}=\frac{1}{1+\exp (-z)}=\sigma(z)$lP(C1​∣x)=P(x∣C1​)P(C1​)+P(x∣C2​)P(C2​)P(x∣C1​)P(C1​)​=1+P(x∣C1​)P(C1​)P(x∣C2​)P(C2​)​1​=1+exp(−z)1​=σ(z)

$z=\ln \frac{P\left(x \mid C_{1}\right) P\left(C_{1}\right)}{P\left(x \mid C_{2}\right) P\left(C_{2}\right)}$z=lnP(x∣C2​)P(C2​)P(x∣C1​)P(C1​)​
一堆推导省略…
当$\Sigma_{1}=\Sigma_{2}=\Sigma$Σ1​=Σ2​=Σ

因此：
$P\left(C_{1} \mid x\right)=\sigma(w \cdot x+b)$P(C1​∣x)=σ(w⋅x+b)
这就解释了为什么分类边界是线性的，那么为什么不直接求w和b，要弄这么多概率论的东西呢？下一节说…