【问题标题】:K-Means Distance Measure - Large Data and mixed ScalesK-Means 距离测量 - 大数据和混合尺度
【发布时间】:2019-01-27 23:17:12
【问题描述】:

我有一个关于 k-means 聚类的问题。我们有一个包含 120,000 个观测值的数据集,需要使用 R 计算 k-means 聚类解决方案。问题是 k-means 通常使用欧几里得距离。我们的数据集由 3 个连续变量、11 个序数(Likert 0-5)(我认为可以像连续处理它们一样)和 5 个二进制变量组成。关于“大型”数据集,您对我们可以用于 k-means 方法的距离度量有什么建议吗?我们坚持使用 k-means,所以我真的希望你们中的一个人有一个好主意。

干杯,

马丁

【问题讨论】:

  • 看看高尔距离。它在cluster 包中的daisy 函数中实现。
  • 谢谢。我已经这样做了,但我猜它是基于 od 邻近矩阵,因此,我得到错误“错误:无法分配大小为 54.2 Gb 的向量”。我猜 Gower 不适用于大数据还是我做错了什么?

标签: r cluster-analysis distance k-means similarity


【解决方案1】:

混合模型可用于对混合数据进行聚类。

您可以使用 R 包 VarSelLCM,它在每个集群内对高斯分布的连续变量和序数/二元变量进行建模。

此外,缺失值可以由手头的模型管理。

教程位于:http://varsellcm.r-forge.r-project.org/

【讨论】:

    【解决方案2】:

    将变量编码为二进制不会解决根本问题。相反,它只会帮助增加数据维度,增加负担。统计中的最佳实践是不要将原始数据更改为任何其他形式,例如连续数据到分类数据,反之亦然。但是,如果您这样做,即数据转换,那么它必须与要解决的问题同步,并且您必须提供有效的理由。

    继续,正如其他人所说,首先尝试降低数据集的维数。检查missing values、outliers、zero variance、principal component analysis (continuous variables)、correspondence analysis (for categorical variables) 等问题。这可以帮助您降低维度。毕竟,数据预处理任务构成了分析的80%。

    关于混合数据类型的距离度量,您确实了解k 中的mean 仅适用于continuous 变量。所以,我不明白将算法k-means 用于混合数据类型的logic? 考虑选择其他算法,如k-modes。 k-modes 是 k-means 的扩展。它使用差异而不是距离(即,量化两个对象之间的总不匹配:这个数字越小,两个对象越相似)。而不是手段,它使用模式。模式是一个元素向量,可以最大限度地减少向量本身与数据的每个对象之间的差异。

    【讨论】:

      【解决方案3】:

      您当然也可以将二进制变量编码为 0,1。

      由于分布不均匀,不将李克特量表变量视为数字是统计的最佳做法。

      但我不知道你会得到有意义的 k-means 集群。该算法是关于计算手段的。这对连续变量是有意义的。离散变量通常缺乏“分辨率”才能正常工作。三个均值然后降级为“频率”,然后应该以非常不同的方式处理数据。

      不要用锤子选题。也许您的数据不是钉子;即使你想用kmeans来解决它,它也不能解决你的问题......相反,请制定你的问题,然后选择正确的工具。那么根据您的数据,什么是好的集群?除非你有一个方程来衡量这个,否则处理数据不会解决任何问题。

      【讨论】:

        【解决方案4】:

        一种方法是对特征进行归一化,然后只使用 11 维 欧几里得距离。将二进制值转换为 0/1(嗯,它是 R,所以无论如何它都会这样做)并从那里开始。

        除了 11 维的 k-means 之外,我认为这种方法没有直接的问题,肯定很难解释。您可以尝试使用降维技术,并希望使 k-means 输出更易于阅读,但您对数据集的了解比我们以往任何时候都多,因此我们为您提供帮助的能力有限。

        【讨论】:

          猜你喜欢
          • 2013-04-22
          • 2019-06-01
          • 2014-03-04
          • 2017-04-14
          • 2018-04-06
          • 2013-09-12
          • 2013-02-02
          • 2021-03-16
          • 2023-02-08
          相关资源
          最近更新 更多