机器学习理论笔记（3）

统计决策理论

squared error loss L2$L_2$

Let X∈Rp,Y∈R$X\in {\mathbb{R}}^p,Y\in \mathbb{R}$
Joint distribution，联合分布: Pr(X,Y)$Pr(X,Y)$
我们希望找到一个函数f(X)$f(X)$，对于给定的X$X$来预测Y$Y$。首先我们需要一个loss function 损失函数L(Y,f(X))$L(Y,f(X))$来惩罚预测误差。目前为止最常用最方便的损失函数是squared error loss:

L(Y,f(X))=(Y−f(X))2(3.1)$$\begin{array}{}\text{(3.1)}& L(Y,f(X))=(Y-f(X){)}^2\end{array}$$

标准型：

EPE(f)=E(Y−f(X))2=∫[y−f(x)]2Pr(dx,dy)(3)(4)$$\begin{array}{}\text{(3)}& EPE(f)& =E(Y-f(X){)}^2\text{(4)}& & =\int [y-f(x){]}^{2}Pr(dx,dy)\end{array}$$

在X$X$条件下的条件预测误差：

EPE(f)=EXEY|X([Y−f(X)]2|X)(3.2)$$\begin{array}{}\text{(3.2)}& EPE(f)=E_X{E}_{Y|X}([Y-f(X){]}^2|X)\end{array}$$

这里期望表示积分，先固定x$x$对y$y$进行积分，然后再对x$x$进行积分。
我们逐点最小化EPE$EPE$，就可以得到：

f(x)=argmincEY|X([Y−c]2|X=x)(3.3)$$\begin{array}{}\text{(3.3)}& f(x)=argmi{n}_c{E}_{Y|X}([Y-c{]}^2|X=x)\end{array}$$

它的解是：

f(x)=E(Y|X=x)(3.4)$$\begin{array}{}\text{(3.4)}& f(x)=E(Y|X=x)\end{array}$$

所以这里在条件X=x$X=x$的均值可以最好的预测Y$Y$。最好的度量是平均平方误差。

可以认为期望就是一些取样点的平均，那么就有最近邻方法：

f^(x)=Ave(yi|xi∈Nk(x))(3.5)$$\begin{array}{}\text{(3.5)}& \hat{f}(x)=Ave(y_i|x_i\in N_k(x))\end{array}$$

现在再看线性回归拟合线性回归拟合，显然它是f(x)$f(x)$的一个线性近似

f(x)≈xTβ(3.6)$$\begin{array}{}\text{(3.6)}& f(x)\approx x^T\beta \end{array}$$

把此式子代入EPE$EPE$就可以得到

β=[E(XXT)]−1E(XY)(3.7)$$\begin{array}{}\text{(3.7)}& \beta =[E(X{X}^T){]}^{-1}E(XY)\end{array}$$

最后我们是用数据的训练集来代入计算的。
我们可以得出结论：

• 最小二乘法是假设函数f(X)$f(X)$近似于线性函数

• k$k$-最近邻方法是假设函数f(x)$f(x)$近似于一个局部常值函
  现在我们假设：
  

  f(X)=∑j=1pfj(Xj)(3.8)$$\begin{array}{}\text{(3.8)}& f(X)=\sum _{j=1}^p{f}_j(X_j)\end{array}$$
  
  任意的fj$f_j$的选择可以包含以上两种方法。

  绝对损失函数 L1$L_1$

  损失函数L1=E|Y−f(X)|$L_1=E|Y-f(X)|$，那么条件中值median
  

  f^(x)=median(Y|X=x)(3.9)$$\begin{array}{}\text{(3.9)}& \hat{f}(x)=median(Y|X=x)\end{array}$$

0-1损失函数 L$L$

假设output G$G$是一个分类变量categorical variable，G^$\hat{G}$是 G$\mathcal{G}$中的一个估计值（一组可能的类），损失函数可以表示成一个K×K$K\times K$矩阵L$L$，这里K=card(G)$K=card(\mathcal{G})$，G$\mathcal{G}$中类的个数。L$L$是一个对角线为0，其他位置非负的矩阵，L(k,l)$L(k,l)$表示Gl${\mathcal{G}}_l$类观测分类到Gk${\mathcal{G}}_k$类所需的代价。（也就是说这种分类错误会导致损失函数增加多少。）这里可以把G$G$看成前面的Y$Y$，G^(X)$\hat{G}(X)$可以看成前面的f(X)$f(X)$，g$g$相当于前面的c$c$。那么，0-1损失函数的预测误差期望是：

EPE=E[L(G,G^(X))](3.10)$$\begin{array}{}\text{(3.10)}& EPE=E[L(G,\hat{G}(X))]\end{array}$$

写成添加联合分布的条件概率形式就是：

EPE=EX∑k=1KL[Gk,G^(X)]Pr(Gk|X)(3.11)$$\begin{array}{}\text{(3.11)}& EPE=E_X\sum _{k=1}^{K}L[{\mathcal{G}}_k,\hat{G}(X)]Pr(G_k|X)\end{array}$$

逐点极小化EPE$EPE$就是

G^(x)=argming∈G∑k=1KL(Gk,g)Pr(Gk|X=x)(3.12)$$\begin{array}{}\text{(3.12)}& \hat{G}(x)=argmi{n}_{g\in \mathcal{G}}\sum _{k=1}^{K}L({\mathcal{G}}_k,g)Pr({\mathcal{G}}_k|X=x)\end{array}$$

用0-1损失函数这个简化这个模型，也就是说g$g$等于某个Gk0${\mathcal{G}}_{k_0}$，那么L(Gk0,g)=0$L({\mathcal{G}}_{k_0},g)=0$，对剩下的部分求和就得到下式：

G^(x)=argming∈G[1−Pr(Gk|X=x)](3.13)$$\begin{array}{}\text{(3.13)}& \hat{G}(x)=argmi{n}_{g\in \mathcal{G}}[1-Pr({\mathcal{G}}_k|X=x)]\end{array}$$

简单写就是

G^(x)=Gk if Pr(Gk|X=x)=maxg∈GPr(g|X=x)(3.14)$$\begin{array}{}\text{(3.14)}& \hat{G}(x)={\mathcal{G}}_k\text{ if }Pr({\mathcal{G}}_k|X=x)=\underset{g\in \mathcal{G}}{max}Pr(g|X=x)\end{array}$$

这就是贝叶斯分类器Bayes classifier。