Clustering ，翻译为"聚类"，就是把相似的东西分为一组，同 Classification（分类）不同， classifier 从训练集中进行"学习"，从而能够对未知数据进行分类，这种提供训练数据的过程叫做 supervised learning (监督学习)，而在聚类的时候，我们并不关心某一类是什么，我们只需要把相似的东西聚到一起，因此，一个聚类算法通常只需要知道如何计算相似度就可以工作了，因此 clustering 通常并不需要使用训练数据进行学习，这在 Machine Learning 中被称作 unsupervised learning (无监督学习)。
k-center clustering： 最小化数据点到其中心的最大距离，即minimizeΦ k c e n t e r ( C ) = max j = 1 max a i ∈ C j d ( a i , c j )
\Phi_{k c e n t e r}(\mathcal{C})=\max _{j=1} \max _{\mathbf{a}_{i} \in C_{j}} d\left(\mathbf{a}_{i}, \mathbf{c}_{j}\right)
Φ k c e n t e r ( C ) = j = 1 max a i ∈ C j max d ( a i , c j )
k-median clustering： 最小化数据点到其中心的距离之和，即minimizeΦ k m e d i a n ( C ) = ∑ j = 1 k ∑ a i ∈ C j d ( a i , c j )
\Phi_{k m e d i a n}(\mathcal{C})=\sum_{j=1}^{k} \sum_{\mathbf{a}_{i} \in C_{j}} d\left(\mathbf{a}_{i}, \mathbf{c}_{j}\right)
Φ k m e d i a n ( C ) = j = 1 ∑ k a i ∈ C j ∑ d ( a i , c j )
k-means clustering： 最小化数据点到其中心的距离平方和，即minimizeΦ k m e a n s ( C ) = ∑ j = 1 k ∑ a i ∈ C j d 2 ( a i , c j )
\Phi_{k m e a n s}(\mathcal{C})=\sum_{j=1}^{k} \sum_{\mathbf{a}_{i} \in C_{j}} d^{2}\left(\mathbf{a}_{i}, \mathbf{c}_{j}\right)
Φ k m e a n s ( C ) = j = 1 ∑ k a i ∈ C j ∑ d 2 ( a i , c j )
当数据由R d R^d R d
如果我们不相信我们的聚类是基于中心的，那么通常做出的的另一个假设是聚类由高密度区域组成，他们之间是低密度的“护城河”。
考虑使用k-means准则的最大似然动机。假设我们的数据是由k个良好分离的球形高斯密度等权混合生成的，这k个高斯密度的均值分别为μ 2 , μ 2 , … , μ k \mathbf{\mu}_2, \mathbf{\mu}_2, \dots, \mathbf{\mu}_k μ 2 , μ 2 , … , μ k Prob ( x ) = 1 ( 2 π ) d / 2 1 k ∑ i = 1 k e − ∣ x − μ i ∣ 2
\operatorname{Prob}(\mathrm{x})=\frac{1}{(2 \pi)^{d / 2}} \frac{1}{k} \sum_{i=1}^{k} e^{-\left|\mathrm{x}-\mu_{i}\right|^{2}}
P r o b ( x ) = ( 2 π ) d / 2 1 k 1 i = 1 ∑ k e − ∣ x − μ i ∣ 2 μ ( x ) \mu(x) μ ( x ) e − ∣ x − μ ( x ) ∣ 2 e^{-|\mathbf{x}-\boldsymbol{\mu}(\mathbf{x})|^{2}} e − ∣ x − μ ( x ) ∣ 2 ∑ i = 1 k e − ∣ x − μ i ∣ 2 \sum_{i=1}^{k} e^{-\left|\mathbf{x}-\boldsymbol{\mu}_{i}\right|^{2}} ∑ i = 1 k e − ∣ x − μ i ∣ 2 Prob ( x ) ≈ 1 ( 2 π ) d / 2 k e − ∣ x − μ ( x ) ∣ 2
\operatorname{Prob}(\mathbf{x}) \approx \frac{1}{(2 \pi)^{d / 2} k} e^{-|\mathbf{x}-\mu(\mathbf{x})|^{2}}
P r o b ( x ) ≈ ( 2 π ) d / 2 k 1 e − ∣ x − μ ( x ) ∣ 2 1 k n 1 ( 2 π ) n d / 2 ∏ i = 1 n e − ∣ x ( i ) − μ ( x ( i ) ) ∣ 2 = c e − ∑ i = 1 n ∣ x ( i ) − μ ( x ( i ) ) ∣ 2
\frac{1}{k^{n}} \frac{1}{(2 \pi)^{n d / 2}} \prod_{i=1}^{n} e^{-\left|\mathbf{x}^{(\mathrm{i})}-\mu\left(\mathrm{x}^{(\mathrm{i})}\right)\right|^{2}}=c e^{-\sum_{i=1}^{n}\left|\mathrm{x}^{(\mathrm{i})}-\mu\left(\mathrm{x}^{(\mathrm{i})}\right)\right|^{2}}
k n 1 ( 2 π ) n d / 2 1 i = 1 ∏ n e − ∣ x ( i ) − μ ( x ( i ) ) ∣ 2 = c e − ∑ i = 1 n ∣ x ( i ) − μ ( x ( i ) ) ∣ 2 μ 2 , μ 2 , … , μ k \mathbf{\mu}_2, \mathbf{\mu}_2, \dots, \mathbf{\mu}_k μ 2 , μ 2 , … , μ k
引理2.1 当x是质心时，数据点到x的距离平方和得到最小化，即x = 1 n ∑ i a i \mathbf{x}=\frac{1}{n} \sum_{i} \mathbf{a}_{\mathbf{i}} x = n 1 ∑ i a i 证明 ：我们的目标是寻找x，最小化∑ i ∣ a i − x ∣ 2 \sum_{i}\left|\mathbf{a}_{\mathbf{i}}-\mathbf{x}\right|^{2} ∑ i ∣ a i − x ∣ 2 ∑ i ∣ a i − x ∣ 2 = ∑ i ∣ a i − c ∣ 2 + n ∣ c − x ∣ 2
\sum_{i}\left|\mathrm{a}_{\mathrm{i}}-\mathrm{x}\right|^{2}=\sum_{i}\left|\mathrm{a}_{\mathrm{i}}-\mathrm{c}\right|^{2}+n|\mathrm{c}-\mathrm{x}|^{2}
i ∑ ∣ a i − x ∣ 2 = i ∑ ∣ a i − c ∣ 2 + n ∣ c − x ∣ 2 x = c x=c x = c
k-means聚类一个常用的算法是Lloyd’s Algorithm。Lloyd’s Algorithm：
初始化k个中心（随机选择？）；
将每个点与最靠近它的中心聚类；
找到每个聚类的质心作为新中心替换旧中心；
重复Step 2和Step 3直到聚类中心收敛（根据一些准则，例如k-means得分不再提高）
Lloyd算法不一定能找到全局最优解，但会找到局部最优解。算法中一个重要的步骤是初始化。下面的例子说明了初始中心会显著影响聚类结果。( 0 , 1 ) , ( 0 , − 1 ) (0,1),(0,-1) ( 0 , 1 ) , ( 0 , − 1 ) ( 3 , 0 ) (3,0) ( 3 , 0 ) ( 0 , 1 ) (0,1) ( 0 , 1 ) ( 3 , 0 ) (3,0) ( 3 , 0 ) ( 0 , 1 ) (0,1) ( 0 , 1 ) ( 0 , 0 ) (0,0) ( 0 , 0 ) ( 3 , 0 ) (3,0) ( 3 , 0 )
因此，对于初始中心的选择要遵循一定的策略。最常用的策略为“最远遍历”。首先选择一个数据点作为初始中心c 1 c_1 c 1 c 1 c_1 c 1 c 2 c_2 c 2 { c 1 , c 2 } \{c_1,c_2\} { c 1 , c 2 } c 3 c_3 c 3
“最远便利”会被少数异常值欺骗。k-means++对此进行改进，基于它们与已挑选中心的距离来加权数据点，具体而言，与距离平方成比例。然后根据这些权重概率地选择下一个中心。另一种方法是为k-means问题运行一些其他近似算法，然后使用其输出作为Lloyd算法的起点。
从它自己的簇中的每个数据点开始，然后重复的合并成对的簇，直到只剩下k个簇。具体来说，Ward算法合并了最小化k-means成本增量的两个簇，即合并 ( C , C ′ ) \left(C, C^{\prime}\right) ( C , C ′ ) cost ( C ∪ C ′ ) − cost ( C ) − cost ( C ′ )
\operatorname{cost}\left(C \cup C^{\prime}\right)-\operatorname{cost}(C)-\operatorname{cost}\left(C^{\prime}\right)
c o s t ( C ∪ C ′ ) − c o s t ( C ) − c o s t ( C ′ )
假设已经得到了a 1 , … , a i a_{1}, \dots, a_{i} a 1 , … , a i ∀ k ′ ≤ k \forall k'\le k ∀ k ′ ≤ k a 1 , … , a i + 1 a_{1}, \dots, a_{i+1} a 1 , … , a i + 1 j j j d i s t ( a 1 , ⋯  , a j − 1 ) + d i s t ( a j , ⋯  , a i + 1 ) dist(a_1,\cdots,a_{j-1})+dist(a_j,\cdots,a_{i+1}) d i s t ( a 1 , ⋯ , a j − 1 ) + d i s t ( a j , ⋯ , a i + 1 ) k ′ − 1 k'-1 k ′ − 1
对于给定的i i i k ′ = 1 , ⋯  , k k'=1,\cdots,k k ′ = 1 , ⋯ , k a 1 , … , a i a_{1}, \dots, a_{i} a 1 , … , a i i i i j j j i ≤ n i\le n i ≤ n O ( k n ) O(kn) O ( k n ) n n n i i i O ( k n 2 O(kn^2 O ( k n 2
将任意点到聚类中心的最大距离称为聚类的半径。存在半径为r的k聚类当且仅当存在k个半径为r的球体将所有的点覆盖。下面，我们给出一个简单的算法来寻找k个球覆盖所有点。The Farthest Traversal k-clustering Algorithm
任意选择一个点作为第一个聚类中心；
对t = 2 , 3 , ⋯  , k t=2,3,\cdots,k t = 2 , 3 , ⋯ , k t t t
该算法相当于初始化Lloyd算法的最远遍历策略。下面的引理表明该算法仅需要使用最多为最佳k-center解的两倍的半径。Theorem 7.3 如果存在半径为r 2 \frac{r}{2} 2 r k k k k k k r r r 证明 ：若不然，即存在数据点x x x > r >r > r ⇒ \Rightarrow ⇒ > r >r > r x x x > r >r > r k k k x x x k + 1 k+1 k + 1 r r r r 2 \frac{r}{2} 2 r k k k
Spectral Clustering 其实就是通过 Laplacian Eigenmap 的降维方式降维之后再做 K-means 的一个过程。
寻找由A的前k个右奇异向量生成的空间V
将数据点投影到V上
对投影点聚类
投影会使数据点更接近其聚类中心。A A A i i i i i i i i i i i i k k k k k k ∑ i = 1 n ∣ a i − c i ∣ 2 = ∥ A − C ∥ F 2
\sum_{i=1}^{n}\left|\mathbf{a}_{\mathbf{i}}-\mathbf{c _ { i }}\right|^{2}=\|A-C\|_{F}^{2}
i = 1 ∑ n ∣ a i − c i ∣ 2 = ∥ A − C ∥ F 2 ∥ A − C ∥ F 2 \|A-C\|_{F}^{2} ∥ A − C ∥ F 2 k ∥ A − C ∥ 2 2 k\|A-C\|_{2}^{2} k ∥ A − C ∥ 2 2 Theorem 7.4 对任意秩小于等于k的矩阵C C C ∥ A k − C ∥ F 2 ≤ 8 k ∥ A − C ∥ 2 2
\left\|A_{k}-C\right\|_{F}^{2} \leq 8 k\|A-C\|_{2}^{2}
∥ A k − C ∥ F 2 ≤ 8 k ∥ A − C ∥ 2 2 证明 ：r a n k ( A k − C ) ≤ r a n k ( A k ) + r a n k ( C ) ≤ k + k = 2 k rank(A_k-C)\le rank(A_k) + rank(C)\le k+k=2k r a n k ( A k − C ) ≤ r a n k ( A k ) + r a n k ( C ) ≤ k + k = 2 k ∥ A ∥ 2 2 ≤ ∥ A ∥ F 2 ≤ k ∥ A ∥ 2 2 \|A\|_{2}^{2} \leq\|A\|_{F}^{2} \leq k\|A\|_{2}^{2} ∥ A ∥ 2 2 ≤ ∥ A ∥ F 2 ≤ k ∥ A ∥ 2 2 ∥ A k − C ∥ F 2 ≤ 2 k ∥ A k − C ∥ 2 2
\left\|A_{k}-C\right\|_{F}^{2} \leq 2 k\left\|A_{k}-C\right\|_{2}^{2}
∥ A k − C ∥ F 2 ≤ 2 k ∥ A k − C ∥ 2 2 ∥ A k − C ∥ 2 ≤ ∥ A k − A ∥ 2 + ∥ A − C ∥ 2 ≤ 2 ∥ A − C ∥ 2
\left\|A_{k}-C\right\|_{2} \leq\left\|A_{k}-A\right\|_{2}+\|A-C\|_{2} \leq 2\|A-C\|_{2}
∥ A k − C ∥ 2 ≤ ∥ A k − A ∥ 2 + ∥ A − C ∥ 2 ≤ 2 ∥ A − C ∥ 2
定义σ ( C ) = ∥ A − C ∥ 2 / n \sigma(C)=\|A-C\|_{2} / \sqrt{n} σ ( C ) = ∥ A − C ∥ 2 / n Spectral Clustering - The Algorithm
寻找A的前k个奇异值向量，然后将A的列投影到由这向量生成的空间上，得到A k A_k A k
从A k A_k A k A k A_k A k 6 k σ ( C ) / ε 6k \sigma(C) / \varepsilon 6 k σ ( C ) / ε
重复Step 2 k k k
Theorem 7.5 如果在k k k C C C k σ ( C ) / ε k \sigma(C) / \varepsilon k σ ( C ) / ε ε n \varepsilon n ε n 1 − ε 1-\varepsilon 1 − ε C ′ C' C ′ C C C ε 2 n \varepsilon^{2} n ε 2 n 证明 ：首先证明对大多数的数据点，数据点的投影与其聚类中心的距离在3 k σ ( C ) / ε 3k \sigma(C) / \varepsilon 3 k σ ( C ) / ε M = { i : ∣ v i − c i ∣ ≥ 3 k σ ( C ) / ε }
M=\left\{i :\left|\mathbf{v}_{\mathrm{i}}-\mathbf{c}_{\mathrm{i}}\right| \geq 3 k \sigma(C) / \varepsilon\right\}
M = { i : ∣ v i − c i ∣ ≥ 3 k σ ( C ) / ε } v i \mathbf{v}_i v i A k A_k A k i i i ∣ M ∣ |M| ∣ M ∣ ∥ A k − C ∥ F 2 = ∑ i ∣ v i − c i ∣ 2 ≥ ∑ i ∈ M ∣ v i − c i ∣ 2 ≥ ∣ M ∣ 9 k 2 σ 2 ( C ) ε 2 \left\|A_{k}-C\right\|_{F}^{2}=\sum_{i}\left|\mathrm{v}_{\mathrm{i}}-\mathrm{c}_{\mathrm{i}}\right|^{2} \geq \sum_{i \in M}\left|\mathrm{v}_{\mathrm{i}}-\mathrm{c}_{\mathrm{i}}\right|^{2} \geq|M| \frac{9 k^{2} \sigma^{2}(C)}{\varepsilon^{2}} ∥ A k − C ∥ F 2 = ∑ i ∣ v i − c i ∣ 2 ≥ ∑ i ∈ M ∣ v i − c i ∣ 2 ≥ ∣ M ∣ ε 2 9 k 2 σ 2 ( C ) ∣ M ∣ 9 k 2 σ 2 ( C ) ε 2 ≤ ∥ A k − C ∥ F 2 ≤ 8 k n σ 2 ( C ) ⟹ ∣ M ∣ ≤ 8 ε 2 n 9 k
|M| \frac{9 k^{2} \sigma^{2}(C)}{\varepsilon^{2}} \leq\left\|A_{k}-C\right\|_{F}^{2} \leq 8 k n \sigma^{2}(C) \quad \Longrightarrow \quad|M| \leq \frac{8 \varepsilon^{2} n}{9 k}
∣ M ∣ ε 2 9 k 2 σ 2 ( C ) ≤ ∥ A k − C ∥ F 2 ≤ 8 k n σ 2 ( C ) ⟹ ∣ M ∣ ≤ 9 k 8 ε 2 n i ∉ M i \notin M i ∈ / M i i i i i i j j j 3 k σ ( C ) / ε 3k \sigma(C) / \varepsilon 3 k σ ( C ) / ε 6 k σ ( C ) / ε 6k \sigma(C) / \varepsilon 6 k σ ( C ) / ε i i i k k k k σ ( C ) / ε k \sigma(C) / \varepsilon k σ ( C ) / ε 15 k σ ( C ) / ε − 6 k σ ( C ) / ε = 9 k σ ( C ) / ε 15 k \sigma(C) / \varepsilon-6 k \sigma(C) / \varepsilon=9 k \sigma(C) / \varepsilon 1 5 k σ ( C ) / ε − 6 k σ ( C ) / ε = 9 k σ ( C ) / ε i i i i i i ∣ M ∣ ≤ ε 2 n |M| \leq \varepsilon^{2} n ∣ M ∣ ≤ ε 2 n ( ε − ε 2 ) n (\varepsilon-\varepsilon^2)n ( ε − ε 2 ) n ( ε − ε 2 ) n / ( ε n ) = 1 − ε (\varepsilon-\varepsilon^2)n/(\varepsilon n)=1-\varepsilon ( ε − ε 2 ) n / ( ε n ) = 1 − ε
Ω ( 1 ) \Omega(1) Ω ( 1 )
对于实线上的概率分布，“由6 6 6 k ∈ O ( 1 ) k \in O(1) k ∈ O ( 1 ) 6 6 6 v \mathrm{v} v σ ( C ) 2 = 1 n max ∣ v ∣ = 1 ∑ i = 1 n [ ( a i − c i ) ⋅ v ] 2 = 1 n max ∣ v ∣ = 1 ∣ ( A − C ) v ∣ 2 = 1 n ∥ A − C ∥ 2 2
\sigma(C)^{2}=\frac{1}{n} \max\limits_{|\mathbf{v}|=1} \sum_{i=1}^{n}\left[\left(\mathbf{a}_{\mathbf{i}}-\mathbf{c}_{\mathbf{i}}\right) \cdot \mathbf{v}\right]^{2}=\frac{1}{n} \max\limits_{|\mathbf{v}|=1}|(A-C) \mathbf{v}|^{2}=\frac{1}{n}\|A-C\|_{2}^{2}
σ ( C ) 2 = n 1 ∣ v ∣ = 1 max i = 1 ∑ n [ ( a i − c i ) ⋅ v ] 2 = n 1 ∣ v ∣ = 1 max ∣ ( A − C ) v ∣ 2 = n 1 ∥ A − C ∥ 2 2 σ ( C ) \sigma(C) σ ( C ) k ∈ O ( 1 ) k \in O(1) k ∈ O ( 1 )
如果C C C Ω ( σ ( C ) ) \Omega(\sigma(C)) Ω ( σ ( C ) ) C ′ C' C ′ C C C
可以看出，对于许多随机模型，“均值由Ω ( 1 ) \Omega(1) Ω ( 1 )
首先，假设我们有k ∈ O ( 1 ) k \in O(1) k ∈ O ( 1 ) Ω ( 1 ) \Omega(1) Ω ( 1 ) Ω ( 1 ) \Omega(1) Ω ( 1 )
我们再讨论第二个例子。随机块模型是关于社区的模型。假设再n n n k k k C 1 , C 2 , … , C k C_{1}, C_{2}, \ldots, C_{k} C 1 , C 2 , … , C k p p p q q q q < p q<p q < p i i i j j j n × n n\times n n × n a i j = 1 a_{ij}=1 a i j = 1 i i i j j j p p p q q q O ( 1 / n ) O(1 / n) O ( 1 / n ) O ( ln n / n ) O(\ln n / n) O ( ln n / n ) n / 2 n/2 n / 2 p = α n q = β n p=\frac{\alpha}{n} \quad q=\frac{\beta}{n} \quad p = n α q = n β α , β ∈ O ( ln n ) \alpha, \beta \in O(\ln n) α , β ∈ O ( ln n ) u \mathbf{u} u v \mathbf{v} v u i ≈ p u_{i} \approx p u i ≈ p i ∈ C 1 i \in C_{1} i ∈ C 1 u j ≈ q u_{j} \approx q u j ≈ q j ∈ C 2 j \in C_{2} j ∈ C 2 v i ≈ q v_{i} \approx q v i ≈ q i ∈ C 1 i \in C_{1} i ∈ C 1 v j ≈ p v_{j} \approx p v j ≈ p j ∈ C 2 j \in C_{2} j ∈ C 2 ∣ u − v ∣ 2 = ∑ j = 1 n ( u j − v j ) 2 ≈ ( α − β ) 2 n 2 n = ( α − β ) 2 n
|\mathbf{u}-\mathbf{v}|^{2}=\sum_{j=1}^{n}\left(u_{j}-v_{j}\right)^{2} \approx \frac{(\alpha-\beta)^{2}}{n^{2}} n=\frac{(\alpha-\beta)^{2}}{n}
∣ u − v ∣ 2 = j = 1 ∑ n ( u j − v j ) 2 ≈ n 2 ( α − β ) 2 n = n ( α − β ) 2 I n t e r − c e n t r o i d d i s t a n c e ≈ α − β n Inter-centroid distance\approx \frac{\alpha-\beta}{\sqrt{n}} I n t e r − c e n t r o i d d i s t a n c e ≈ n α − β ∥ A − C ∥ 2 \|A-C\|_{2} ∥ A − C ∥ 2 v \mathbf{v} v ∥ A − C ∥ 2 ≤ O ∗ ( n p ) = O ∗ ( α )
\|A-C\|_{2} \leq O^{*}(\sqrt{n p})=O^{*}(\sqrt{\alpha})
∥ A − C ∥ 2 ≤ O ∗ ( n p ) = O ∗ ( α ) α − β ∈ Ω ∗ ( α ) \alpha-\beta \in \Omega^{*}(\sqrt{\alpha}) α − β ∈ Ω ∗ ( α ) Ω ( 1 ) \Omega(1) Ω ( 1 )
谱聚类的一个重要特例是当k = 2 k=2 k = 2 L = D − A L=D-A L = D − A A A A D D D A A A x x x x T L x = ∑ i d i i x i 2 − ∑ ( i , j ) ∈ E x i x j = 1 2 ∑ ( i , j ) ∈ E ( x i − x j ) 2
\mathbf{x}^{T} L \mathbf{x}=\sum_{i} d_{i i} x_{i}^{2}-\sum_{(i, j) \in E} x_{i} x_{j}=\frac{1}{2} \sum_{(i, j) \in E}\left(x_{i}-x_{j}\right)^{2}
x T L x = i ∑ d i i x i 2 − ( i , j ) ∈ E ∑ x i x j = 2 1 ( i , j ) ∈ E ∑ ( x i − x j ) 2 L L L 1 \mathbf{1} 1 n n n