几句话之KNN和Kd-tree

KNN（k-NearestNeighbor）

主要做分类。也可以做回归，回归的是某一个属性或特征值。
找一下周围的邻居们，看邻居们是什么，就大概知道自己是什么了，有点“物以类聚，人以群分”的意思。

kd-tree（k-dimensional树的简称）

分割k维空间的数据。找邻居的方法比KNN先进了一些，其余的都一样。
找邻居：
按照方差选属性，再按属性的中位数，把样本画成树的结构。
新样本从树尖开始遍历，记录经过的邻居。如果有更近的邻居，也加入到路径中…直到没有更近的了。