一、无监督学习
1.1 无监督学习介绍
监督学习：有一个有标签的训练集，目标是找到能够区分正样本和负样本的决策边界要据此拟合一个假设函数。
非监督学习：数据没有附带任何标签。在非监督学习中，需要将一系列无标签的训练数据，输入到一个算法中，让算法帮助寻找数据的内在结构
如图可以分为两个分开的点集（簇），一个能够找出这些点集的算法，称为聚类算法
1.2 聚类算法的作用
1.市场分割：数据库中存储了许多客户信息，希望将他们分成不同的客户群，对不同类型的客户分别销售产品，提供更适合的服务。
2.社交网络分析：关注一群人，关注社交网络，比如你经常和哪些人联系，这些人又经常给哪些人发邮件，由此找到关系密切的人群。
3.计算机管理：用聚类算法组织计算机集群，管理数据中心。知道哪些计算机经常协作工作，就可以重新分配资源，布局网络，优化数据中心和数据通信。
二、K-均值算法
2.1 算法介绍
K-均值是最普及的聚类算法。
算法接受一个未标记的数据集，然后将数据聚类成不同的组。
K-均值是一个迭代算法，假设想将数据聚类成n个组，
方法为：
①选择K个随机的点，称为聚类中心
②对于数据集中的每一个数据，将其与距离最近的中心点关联起来
③与同一个中心点关联的所有点聚成一类
④计算每一个组的平均值，将该组关联的中心点移动到平均值的位置
⑤重复直至中心点不再变化
2.2 符号表示
u1，u2，…uk：表示聚类中心
c（1），c（2），…c（m）：存储与第 i 个实例数据最近的聚类中心的索引
2.3 步骤
伪代码：
算法分为两个步骤
①赋值：对于每一个样例i，计算其应该属于的类（第一个for循环）
②聚类中心移动：对于每一个类k，重新计算该类的质心（第二个for循环）
即使在没有非常明显分区组群的情况，
K-均值算法依然可以将数据分为许多不同组
三、优化目标
K-均值最小化问题，是要最小化所有的数据点与其所关联的聚类中心点之间的距离之和。
K-均值的代价函数（畸变函数）为：
其中，
uc（i）表示与x（i）最近的聚类中心点
回顾迭代算法，
第一个循环用于减小c（i）【存储与第 i 个实例数据最近的聚类中心的索引】引起的代价
第二个循环用于减小ui【聚类中心】引起的代价
每一次迭代代价函数必然会减小
四、随机初始化
在运行K-均值算法之前，首先随机初始化所有的聚类中心点，步骤如下：
①选择K<m，即聚类中心点个数小于所有训练集实例的数量
②随机选择K个训练实例，令K个聚类中心分别与这K个训练实例相等
问题：可能停留在一个局部最小值，取决于初始化的情况
解决：多次运行K-均值算法，每一次都重新进行随机初始化，最后再多次运行K-均值结果，选择代价函数最小的结果（K较大时可能不会有明显改善）
五、选择聚类数
选择聚类数时需要考虑不同的问题人工进行选择，选择时思考运用K-均值算法聚类的动机是什么，选择能最好服务于该目标的聚类数。
肘部法则
改变K值，即聚类类别数目的总数，用一个聚类来运行K-均值聚类方法。
这意味着所有的数据都会分到一个聚类里，然后计算成本函数或者畸变函数J
如图所示，会在3的时候达到一个肘点，因此选K=3。