【发布时间】:2017-10-01 09:46:50
【问题描述】:
我正在尝试查看“弯头图”中是否有可以帮助我在 K 均值算法中选择 K 的点
但是,我注意到 WSSSE 有时会随着 K 的增加而增加。我假设 WSSSE 总是随着 K 的增加而减小。我附上了一张图片和 Pyspark 代码。 enter image description here
【问题讨论】:
标签: apache-spark k-means
我正在尝试查看“弯头图”中是否有可以帮助我在 K 均值算法中选择 K 的点
但是,我注意到 WSSSE 有时会随着 K 的增加而增加。我假设 WSSSE 总是随着 K 的增加而减小。我附上了一张图片和 Pyspark 代码。 enter image description here
【问题讨论】:
标签: apache-spark k-means
唯一可以保证的是,一旦达到 k==n,WSSSE 就会为零,因为每个点都直接位于集群质心上,因此每个点的 SSE 都为零,因此 WSSSE 也是如此.你的函数是非凸函数的原因是 k-means 使用簇质心(种子)的随机初始化,而 k-means 的优化函数对于初始簇质心分布是不确定的(因为这个问题是 NP-难的)。因此,您可能会在不同的运行中获得较低的局部最优值。这是另一个关于这个主题的thread。
【讨论】: