【机器学习课程-华盛顿大学】：4 聚类和检索 4.2 nn、knn、kd-tree和检索

一、介绍最近邻搜索算法

1、1NN伪代码

 

2、knn伪代码

 

3、文档表示：word counts

 

4、文档表示：tf*idf

 

5、距离矩阵

最简单的比如：

加权重的特征：有些特征比较重要，则权重较大。

 

6、相似度计算

（1）矩阵乘法

为了避免长短文章问题，进行归一化。

 

（2）cosine

 

二、kd-tree

矩阵剪枝，对中小型维度的数据库比较有效。高维数据难处理。

 

NN搜索在kd-tree中：

剪掉大部分分支，在剩下的中求k最近邻。

 

三、测试：cosine相似度公式见题4