在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般而言，定义一个距离函数 d(x,y), 需要满足下面几个准则：
1) d(x,x) = 0 // 到自己的距离为0
2) d(x,y) >= 0 // 距离非负
3) d(x,y) = d(y,x) // 对称性: 如果 A 到 B 距离是 a，那么 B 到 A 的距离也应该是 a
4) d(x,k)+ d(k,y) >= d(x,y) // 三角形法则: (两边之和大于第三边)
这篇博客主要介绍机器学习和数据挖掘中一些常见的距离公式，包括：
- 闵可夫斯基距离
- 欧几里得距离
- 曼哈顿距离
- 切比雪夫距离
- 马氏距离
- 余弦相似度
- 皮尔逊相关系数
- 汉明距离
- 杰卡德相似系数
- 编辑距离
- DTW 距离
- KL 散度
1. 闵可夫斯基距离
闵可夫斯基距离（Minkowski distance）是衡量数值点之间距离的一种非常常见的方法，假设数值点 P 和 Q 坐标如下：
那么，闵可夫斯基距离定义为：
该距离最常用的 p 是 2 和 1, 前者是欧几里得距离（Euclidean distance），后者是曼哈顿距离（Manhattan distance）。假设在曼哈顿街区乘坐出租车从 P 点到 Q 点，白色表示高楼大厦，灰色表示街道：
绿色的斜线表示欧几里得距离，在现实中是不可能的。其他三条折线表示了曼哈顿距离，这三条折线的长度是相等的。
当 p 趋近于无穷大时，闵可夫斯基距离转化成切比雪夫距离（Chebyshev distance）：
我们知道平面上到原点欧几里得距离（p = 2）为 1 的点所组成的形状是一个圆，当 p 取其他数值的时候呢？
注意，当 p < 1 时，闵可夫斯基距离不再符合三角形法则，举个例子：当 p < 1, (0,0) 到 (1,1) 的距离等于 (1+1)^{1/p} > 2, 而 (0,1) 到这两个点的距离都是 1。
闵可夫斯基距离比较直观，但是它与数据的分布无关，具有一定的局限性，如果 x 方向的幅值远远大于 y 方向的值，这个距离公式就会过度放大 x 维度的作用。所以，在计算距离之前，我们可能还需要对数据进行 z-transform 处理，即减去均值，除以标准差：
: 该维度上的均值
: 该维度上的标准差
可以看到，上述处理开始体现数据的统计特性了。这种方法在假设数据各个维度不相关的情况下利用数据分布的特性计算出不同的距离。如果维度相互之间数据相关（例如：身高较高的信息很有可能会带来体重较重的信息，因为两者是有关联的），这时候就要用到马氏距离（Mahalanobis distance）了。
2. 马氏距离
考虑下面这张图，椭圆表示等高线，从欧几里得的距离来算，绿黑距离大于红黑距离，但是从马氏距离，结果恰好相反：
马氏距离实际上是利用 Cholesky transformation 来消除不同维度之间的相关性和尺度不同的性质。假设样本点（列向量）之间的协方差对称矩阵是 ， 通过 Cholesky Decomposition（实际上是对称矩阵 LU 分解的一种特殊形式，可参考之前的博客）可以转化为下三角矩阵和上三角矩阵的乘积：
。消除不同维度之间的相关性和尺度不同，只需要对样本点 x 做如下处理：
。处理之后的欧几里得距离就是原样本的马氏距离：为了书写方便，这里求马氏距离的平方）：
下图蓝色表示原样本点的分布，两颗红星坐标分别是（3, 3），（2, -2）:
由于 x， y 方向的尺度不同，不能单纯用欧几里得的方法测量它们到原点的距离。并且，由于 x 和 y 是相关的（大致可以看出斜向右上），也不能简单地在 x 和 y 方向上分别减去均值，除以标准差。最恰当的方法是对原始数据进行 Cholesky 变换，即求马氏距离（可以看到，右边的红星离原点较近）：
将上面两个图的绘制代码和求马氏距离的代码贴在这里，以备以后查阅：
1 # -*- coding=utf-8 -*- 2 3 # code related at: http://www.cnblogs.com/daniel-D/ 4 5 import numpy as np 6 import pylab as pl 7 import scipy.spatial.distance as dist 8 9 10 def plotSamples(x, y, z=None): 11 12 stars = np.matrix([[3., -2., 0.], [3., 2., 0.]]) 13 if z is not None: 14 x, y = z * np.matrix([x, y]) 15 stars = z * stars 16 17 pl.scatter(x, y, s=10) # 画 gaussian 随机点 18 pl.scatter(np.array(stars[0]), np.array(stars[1]), s=200, marker='*', color='r') # 画三个指定点 19 pl.axhline(linewidth=2, color='g') # 画 x 轴 20 pl.axvline(linewidth=2, color='g') # 画 y 轴 21 22 pl.axis('equal') 23 pl.axis([-5, 5, -5, 5]) 24 pl.show() 25 26 27 # 产生高斯分布的随机点 28 mean = [0, 0] # 平均值 29 cov = [[2, 1], [1, 2]] # 协方差 30 x, y = np.random.multivariate_normal(mean, cov, 1000).T 31 plotSamples(x, y) 32 33 covMat = np.matrix(np.cov(x, y)) # 求 x 与 y 的协方差矩阵 34 Z = np.linalg.cholesky(covMat).I # 仿射矩阵 35 plotSamples(x, y, Z) 36 37 # 求马氏距离 38 print '\n到原点的马氏距离分别是：' 39 print dist.mahalanobis([0,0], [3,3], covMat.I), dist.mahalanobis([0,0], [-2,2], covMat.I) 40 41 # 求变换后的欧几里得距离 42 dots = (Z * np.matrix([[3, -2, 0], [3, 2, 0]])).T 43 print '\n变换后到原点的欧几里得距离分别是：' 44 print dist.minkowski([0, 0], np.array(dots[0]), 2), dist.minkowski([0, 0], np.array(dots[1]), 2)