03 K近邻法——读书笔记

一、思维导图：

二、基本概念：

• $k$k 近邻法：是一种基本分类和回归方法。给定一个训练数据集，其中的类别已经确定，对于输入的实例，在训练数据集中找到与该实例最邻近的 $k$k 个实例，这 $k$k 个实例中多数属于的类别就作为输入实例的类别输出。
• 最近邻：是 $k$k 近邻方法的一种特殊情况，即当$k=1$k=1时的情形。
• 显式学习过程：即在学习过程中需要进行加工，$k$k 近邻方法不属于显式学习过程。
• 单元：对于每个训练实例点 $x$x，距离该点比其他点更近的所有点组成的一个区域称为单元。
• 特征空间的一个划分：每个训练实例点都拥有一个单元，所有训练实例点的单元构成对特征空间的一个划分。

三、k近邻算法：

1. 算法定义：
   输入：训练数据集 $T=\begin{Bmatrix} (x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N}) \end{Bmatrix}$T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)​}， 其中，$x_{i}\in \chi \subseteq R^{n}$xi​∈χ⊆Rn 为实例的特征向量，$y_{i}\in \gamma =\begin{Bmatrix} c_{1},c_{2},...,c_{K} \end{Bmatrix}$yi​∈γ={c1​,c2​,...,cK​​} 为实例的类别，$i=1,2,...,N$i=1,2,...,N；
   实例特征向量 $x$x。
   输出：实例$x$x所属的类别$y$y。
   （1）根据给定的距离度量，在训练集$T$T中找出与$x$x最近邻的$k$k个点，称涵盖这$k$k个点的$x$x的邻域记作 $N_{k}(x)$Nk​(x)；
   （2）在这 $N_{k}(x)$Nk​(x)中根据分类决策规则（如多数表决）决定 $x$x 的类别 $y$y，规则如下:
   $y=arg \: max_{c_{j}}\sum_{x_{i}\in N_{k}(x)} I(y_{i}=c_{j}),\: i=1,2,...,N;j=1,2,...,K.$y=argmaxcj​​xi​∈Nk​(x)∑​I(yi​=cj​),i=1,2,...,N;j=1,2,...,K.
   其中，$I$I是指示函数，即当 $y_{i}=c_{j}$yi​=cj​时，$I$I=1，否则 $I$I=0。

四、k近邻模型：

1. 模型：
   $k$k 近邻模型实际上是对特征空间的划分。模型主要有三个基本要素——距离度量、$k$k 值的选择、分类决策规则。当这些元素确定之后，实例 $x$x的类别就唯一地确定了。这相当于根据要素将特征空间划分为一些子空间，确定子空间里每个点属于的类。
2. 距离度量：
   前提：特征空间中两个实例点之间的距离就是两个实例点相似程度的反映。使用的距离为欧氏距离或者更为一般的 $L_{p}$Lp​距离。
   ①$L_{p}$Lp​距离：$L_{p}(x_{i},x_{j})=(\sum_{l=1}^{n}\left | x_{i}^{(l)}-x_{j}^{(l)} \right |^p)^\frac{1}{p}$Lp​(xi​,xj​)=(l=1∑n​∣∣∣​xi(l)​−xj(l)​∣∣∣​p)p1​ 其中，特征空间 $\chi$χ 是 $n$n 维实数向量空间$R_{n}$Rn​，$x_{i},x_{j}\in \chi，x_{i}=（x_{i}^{(1)},x_{i}^{(2)},...,x_{i}^{(n)}）,x_{j}=（x_{j}^{(1)},x_{j}^{(2)},...,x_{j}^{(n)}）$xi​,xj​∈χ，xi​=（xi(1)​,xi(2)​,...,xi(n)​）,xj​=（xj(1)​,xj(2)​,...,xj(n)​）
   ②欧氏距离（当$p=2$p=2时）：
   $L_{2}(x_{i},x_{j})=(\sum_{l=1}^{n}\left | x_{i}^{(l)}-x_{j}^{(l)} \right |^2)^\frac{1}{2}$L2​(xi​,xj​)=(l=1∑n​∣∣∣​xi(l)​−xj(l)​∣∣∣​2)21​
   ③曼哈顿距离（当$p=1$p=1时）：
   $L_{1}(x_{i},x_{j})=(\sum_{l=1}^{n}\left | x_{i}^{(l)}-x_{j}^{(l)} \right |)$L1​(xi​,xj​)=(l=1∑n​∣∣∣​xi(l)​−xj(l)​∣∣∣​)
   ④各个坐标距离的最大值（当$p=\infty$p=∞时）：
   $L_{\infty}(x_{i},x_{j})=max_{l}\left | x_{i}^{(l)}-x_{j}^{(l)} \right |$L∞​(xi​,xj​)=maxl​∣∣∣​xi(l)​−xj(l)​∣∣∣​
3. $k$k 值的选择：
   $k$k值的选择会对 $k$k近邻法的结果产生重大影响，在应用中，一般会选取比较小的值，通常采用交叉验证法来选取最优的$k$k值。
   ①$k$k值选取过小，会降低模型的近似误差，但是缺点是估计误差会增大，距离实例点较近的点对预测结果有较大影响，会导致模型过于复杂，还可能产生过拟合问题；
   ②$k$k值选取过大，使得模型过于简单，与$k$k值选取过小相反，离实例点较远的点会对预测结果产生错误影响。
4. 分类决策规则：
   分类决策规则往往是多数表决。

五、k近邻法的实现：kd树：

1. 构造$kd$kd树：
   算法3.2（构造平衡$kd$kd树）：
   输入：$k$k 维空间数据集 $T=\begin{Bmatrix} x_{1},x_{2},...,x_{N} \end{Bmatrix}，$T={x1​,x2​,...,xN​​}， 其中$x_{i}=（x_{i}^{(1)},x_{i}^{(2)},...,x_{i}^{(k)}）^{T}，i=1,2,...,N;$xi​=（xi(1)​,xi(2)​,...,xi(k)​）T，i=1,2,...,N;
   输出：$kd$kd 树
   (1) 开始：构造根结点，根结点对应包含 $T$T 的 $k$k 维空间的超矩形区域。
   选择$x^{(1)}$x(1)为坐标轴，以 $T$T 中所有实例的$x^{(1)}$x(1)坐标的中位数为切分点，将根结点对应的超矩形区域分为两个子区域。切分由通过切分点并与坐标轴$x^{(1)}$x(1)垂直的超平面实现。
   由根结点生成深度为1的左右子节点；左子结点对应坐标$x^{(1)}$x(1)小于切分点的子区域，右结点对应于坐标$x^{(1)}$x(1)大于切分点的子区域。
   将落在切分超平面上的实例点保存在根结点。
   (2) 重复：对深度为$j$j的结点，选择$x^{(l)}$x(l)为切分的坐标轴，其中$l=j(mod \: k)+1$l=j(modk)+1，以该结点的区域中所有实例的$x^{(l)}$x(l) 坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域。切分由通过切分点并与坐标轴$x^{(l)}$x(l)垂直的超平面实现。
   由该结点生成深度为$j+1$j+1的左、右子结点；
   将落在切分超平面上的实例点保存在该结点。
   (3) 直到两个子区域没有实例存在时停止。从而形成$kd$kd树的区域划分。

2. 搜索$kd$kd树：
   算法3.3（用$kd$kd树的最近邻搜索）：
   输入：已构造的$kd$kd树，目标点$x$x；
   输出：$x$x的最近邻。
   （1）在 $kd$kd 树中找出包含目标点 $x$x 的叶节点：从根节点出发，递归地向下访问 $kd$kd 树。若目标点 $x$x当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点。直到子节点为叶节点为止。
   （2）以此叶节点为“当前最近点”。
   （3）递归地向上回退，在每个节点进行以下操作：
   （a） 如果该节点保存的实例点比当前最近点距离目标点更近，则以该实例点为“当前最近点”。
   （b）当前最近点一定存在于该节点一个子节点对应的区域。检查该子节点的父节点的另一子节点对应的区域是否有更近的点。具体地，检查另一子节点对应的区域是否与以目标点为球心、以目标点与“当前最近点”间的距离为半径的超球体相交。
   如果相交，可能在另一个子节点对应的区域内存在距目标点更近的点，移动到另一子节点。接着，递归地进行最近邻搜索；
   如果不想交，向上回退。
   （4）当回退到根节点时，搜索结束。最后的“当前最近点”即为 $x$x 的最近邻点。