【问题标题】:How to get the samples in each cluster?如何获取每个集群中的样本?
【发布时间】:2016-07-11 18:20:39
【问题描述】:

我正在使用 sklearn.cluster KMeans 包。完成聚类后,如果我需要知道哪些值被分组在一起,我该怎么做?

假设我有 100 个数据点,KMeans 给了我 5 个集群。 现在我想知道集群 5 中有哪些数据点。我该怎么做。

是否有提供集群 ID 的函数,它会列出该集群中的所有数据点?

【问题讨论】:

  • 我刚刚提供了一个答案来解决您的问题。让我知道这是否有帮助。
  • 你可以使用.labels_来检查

标签: python scikit-learn cluster-analysis k-means


【解决方案1】:

要获取每个集群内的点/样本/观测值的 ID,请执行以下操作:

Python 2

使用 Iris 数据和一种不错的 Python 方式的示例:

import numpy as np
from sklearn.cluster import KMeans
from sklearn import datasets

np.random.seed(0)

# Use Iris data
iris = datasets.load_iris()
X = iris.data
y = iris.target

# KMeans with 3 clusters
clf =  KMeans(n_clusters=3)
clf.fit(X,y)

#Coordinates of cluster centers with shape [n_clusters, n_features]
clf.cluster_centers_
#Labels of each point
clf.labels_

# Nice Pythonic way to get the indices of the points for each corresponding cluster
mydict = {i: np.where(clf.labels_ == i)[0] for i in range(clf.n_clusters)}

# Transform this dictionary into list (if you need a list as result)
dictlist = []
for key, value in mydict.iteritems():
    temp = [key,value]
    dictlist.append(temp)

结果

#dict format
{0: array([ 50,  51,  53,  54,  55,  56,  57,  58,  59,  60,  61,  62,  63,
            64,  65,  66,  67,  68,  69,  70,  71,  72,  73,  74,  75,  76,
            78,  79,  80,  81,  82,  83,  84,  85,  86,  87,  88,  89,  90,
            91,  92,  93,  94,  95,  96,  97,  98,  99, 101, 106, 113, 114,
           119, 121, 123, 126, 127, 133, 138, 142, 146, 149]),
 1: array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16,
           17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33,
           34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49]),
 2: array([ 52,  77, 100, 102, 103, 104, 105, 107, 108, 109, 110, 111, 112,
           115, 116, 117, 118, 120, 122, 124, 125, 128, 129, 130, 131, 132,
           134, 135, 136, 137, 139, 140, 141, 143, 144, 145, 147, 148])}

# list format
[[0, array([ 50,  51,  53,  54,  55,  56,  57,  58,  59,  60,  61,  62,  63,
             64,  65,  66,  67,  68,  69,  70,  71,  72,  73,  74,  75,  76,
             78,  79,  80,  81,  82,  83,  84,  85,  86,  87,  88,  89,  90,
             91,  92,  93,  94,  95,  96,  97,  98,  99, 101, 106, 113, 114,
             119, 121, 123, 126, 127, 133, 138, 142, 146, 149])],
 [1, array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16,
            17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33,
            34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49])],
 [2, array([ 52,  77, 100, 102, 103, 104, 105, 107, 108, 109, 110, 111, 112,
             115, 116, 117, 118, 120, 122, 124, 125, 128, 129, 130, 131, 132,
             134, 135, 136, 137, 139, 140, 141, 143, 144, 145, 147, 148])]]

Python 3

只是改变

for key, value in mydict.iteritems():

for key, value in mydict.items():

【讨论】:

  • 对于正在使用python3并遇到此解决方案问题的人,您只需将iteritems()更改为items()
  • 确实我的答案是在 python2 中。我现在也将为 python3 更新。欢呼
【解决方案2】:

其实一个非常简单的方法是:

clusters=KMeans(n_clusters=5)
df[clusters.labels_==0]

第二行返回df 中属于0th 集群的所有元素。同样,您可以找到其他集群元素。

【讨论】:

    【解决方案3】:

    您可以简单地将标签存储在数组中。将数组转换为数据框。然后将用于创建 K 均值的数据与带有集群的新数据框合并。

    显示数据框。现在您应该看到具有相应集群的行。如果您想列出特定集群的所有数据,请使用 data.loc[data['cluster_label_name'] == 2] 之类的内容,暂时假设您的集群为 2。

    【讨论】:

      【解决方案4】:

      我有类似的要求,我正在使用 pandas 创建一个新的数据框,其中数据集的索引和标签作为列。

      data = pd.read_csv('filename')
      
      km = KMeans(n_clusters=5).fit(data)
      
      cluster_map = pd.DataFrame()
      cluster_map['data_index'] = data.index.values
      cluster_map['cluster'] = km.labels_
      

      一旦 DataFrame 可用就很容易过滤, 例如,过滤集群 3 中的所有数据点

      cluster_map[cluster_map.cluster == 3]
      

      【讨论】:

      • 不用pandas
      • 在学习新模型时,我似乎很难将建模数据返回到原始源的最后一部分。大多数教程都没有显示。谢谢你的回答。
      • @Praveen 你确定它会被正确索引吗?当从 km.labels_ 重建数据帧时,您的解决方案是否保留了行的顺序,就像在聚类之前一样?
      【解决方案5】:

      如果您有一个大型数据集并且您需要按需提取集群,您会看到使用numpy.where 可以加快速度。这是 iris 数据集的示例:

      from sklearn.cluster import KMeans
      from sklearn import datasets
      import numpy as np
      
      centers = [[1, 1], [-1, -1], [1, -1]]
      iris = datasets.load_iris()
      X = iris.data
      y = iris.target
      
      km = KMeans(n_clusters=3)
      km.fit(X)
      

      定义一个函数来提取您提供的 cluster_id 的索引。 (这里有两个函数,用于基准测试,它们都返回相同的值):

      def ClusterIndicesNumpy(clustNum, labels_array): #numpy 
          return np.where(labels_array == clustNum)[0]
      
      def ClusterIndicesComp(clustNum, labels_array): #list comprehension
          return np.array([i for i, x in enumerate(labels_array) if x == clustNum])
      

      假设您想要集群 2 中的所有样本:

      ClusterIndicesNumpy(2, km.labels_)
      array([ 52,  77, 100, 102, 103, 104, 105, 107, 108, 109, 110, 111, 112,
             115, 116, 117, 118, 120, 122, 124, 125, 128, 129, 130, 131, 132,
             134, 135, 136, 137, 139, 140, 141, 143, 144, 145, 147, 148])
      

      Numpy 赢得基准测试:

      %timeit ClusterIndicesNumpy(2,km.labels_)
      
      100000 loops, best of 3: 4 µs per loop
      
      %timeit ClusterIndicesComp(2,km.labels_)
      
      1000 loops, best of 3: 479 µs per loop
      

      现在您可以像这样提取所有集群 2 数据点:

      X[ClusterIndicesNumpy(2,km.labels_)]
      
      array([[ 6.9,  3.1,  4.9,  1.5], 
             [ 6.7,  3. ,  5. ,  1.7],
             [ 6.3,  3.3,  6. ,  2.5], 
             ... #truncated
      

      仔细检查上面截断数组的前三个索引:

      print X[52], km.labels_[52]
      print X[77], km.labels_[77]
      print X[100], km.labels_[100]
      
      [ 6.9  3.1  4.9  1.5] 2
      [ 6.7  3.   5.   1.7] 2
      [ 6.3  3.3  6.   2.5] 2
      

      【讨论】:

        【解决方案6】:

        可以查看属性labels_

        例如

        km = KMeans(2)
        km.fit([[1,2,3],[2,3,4],[5,6,7]])
        print km.labels_
        output: array([1, 1, 0], dtype=int32)
        

        如您所见,第一个点和第二个点是簇1,最后一个点是簇0

        【讨论】:

        • 是的,这种方法可以。但是当有很多数据点遍历所有这些数据点以获得标签时,效率并不高。我只是给定集群的数据点列表。难道没有其他方法可以做到这一点吗?
        • @user77005 查看我刚刚发布的答案
        猜你喜欢
        • 2020-07-19
        • 2021-08-22
        • 2021-06-07
        • 1970-01-01
        • 2020-11-09
        • 2018-11-05
        • 1970-01-01
        • 2021-10-15
        相关资源
        最近更新 更多