《统计学习方法》——第三章 K近邻法

• 本章讨论的是分类问题中的K近邻法

3.1 K近邻算法

算法简述：

    

• 当K取3时，绿色点属于红类；当K取5时，绿色点属于蓝类。
• 在右图中，距离度量采用欧氏距离。

3.2 K近邻模型

3.2.1 模型

• 没有类似于感知机模型的函数表示，理解理解。

                                         

• 若K=1，则为最近邻模型。测试实例在哪个训练实例点的单元（上图的方框）范围内就属于哪个类别。

3.2.2 距离度量

Lp距离

• p=1时， 称为曼哈顿距离。（1，0）和（0.5，0.5）到（0，0）的距离是一样的 
• p=2时，称为欧式距离
• p=无穷，它是各个坐标距离的最大值。坐标里的最大值即为距离。

                                          

3.2.3 K值的选择

• 交叉验证！！！！ 用验证集定K值。

3.2.4 分类决策规则

                     

• 取经验风险最小化的类别。

3.3  k 近邻法的实现：kd树

（用的时候再补）