k近邻法（K-NN）是一种基本分类与回归方法。输入为实例的特征向量，对应于特征向量的点；输出为实例的类别，对应于实例的类别，可取多类。
给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多个属于某个类，就把该输入实例分为此类。
3.1 k近邻算法
k=1时是特殊情形，称为最近邻算法。对于输入的实例点（特征向量）x，最近邻法将训练数据集中与x最邻近点的类作为x的类。
3.2 k近邻模型
模型基本要素：距离度量，k值选择，分类决策规则
距离度量：
k:
一般取一个比较小的数值，通常采用交叉验证法来选取最优的k值
分类决策规则：
大多为多数表决。
3.3 kd树