机器学习-第二章

MED分类器

MED分类器，即最小欧拉距离(Mininal Euclidean Distance)分类器，它选取类中样本均值作为类的原型，将待预测样本判断为与其欧拉距离最小的类

• 二分类决策边界:

  $ (x-\mu_1)^{T(x-\mu_1)-(x-\mu_2)}T(x-\mu_2)=0 $

  即

  $ (\mu_1-\mu_2)^T(x-\frac {\mu_1+\mu_2} 2)=0 $

  是一个超平面

• 由于只考虑到类原型的距离，不考虑类样本的分布，可能出现反直觉或错误的结果，如：

MICD分类器

MICD分类器，即最小类内距离(Minimal Intra-Class Distance)分类器由MED分类器演化而来，同样采用均值作为类的原型，但采用马氏距离作为距离度量。将待预测样本判断为与其马氏距离最小的类。

• 二分类决策边界：

  $ (x-\mu_1)^T\sum_1{-1}(x-\mu_1)-(x-\mu_2)^T\sum_2{-1}(x-\mu_2) = 0 $

  即
  $ x^T(\sum_1{-1}-\sum_2^{{-1})x+2(\mu_2}T\sum_2^{-1}-\mu_1T\sum_1^{-1})x+\mu_1T\sum_1^{{-1}\mu_1-\mu_2}T\sum_2^{-1}\mu_2=0 $

  可以看出当 $ \sum_1\neq\sum_2 $ 时，为关于x的二次函数

• 此分类器采用马氏距离，综合考虑了类的不同特征之间的相关性和尺度差异

• 但在均值相同时，趋向于选择方差较大的类，因为方差较大会使$ \sum^{-1} $较小

特征白化

目标

• 特征之间存在相关性和尺度不同的问题
• 特征白化将原始特征映射到一个新的特征空间，使得在新空间中特征的协方差矩阵为单位矩阵，从而去除特征变化的不同及特征之间的相关性。

过程

• 解耦后欧氏距离不变