带有标签数据的 KMeans 聚类答案

【问题标题】：KMeans clustering with labels data带有标签数据的 KMeans 聚类
【发布时间】：2020-12-03 17:17:37
【问题描述】：

我有一个形状为 (587, 987, 3) 的 RGB 图像。 #height, width, num_channels

我还有 7 个类中的每一个的标签数据（像素的位置）。

我想应用 KMeans 聚类算法将给定的图像分割成 7 个类。在应用 KMeans 聚类时，我想利用标签数据，即像素位置。

如何利用标签数据？

到目前为止我尝试过的如下。

img = np.random.randint(low=1,high=99, size=(587, 987, 3)) 

im = img.reshape(img.shape[0]*img.shape[1], img.shape[2])
im = StandardScaler().fit_transform(im)

clusters = KMeans(n_clusters=7,n_init= 100,max_iter=100,n_jobs=-1).fit(im)
kmeans_labels = clusters.labels_.reshape(img.shape[0], img.shape[1])

plt.imshow(kmeans_labels)
plt.show()

我正在寻找将一些注释传播到剩余片段（超像素）

【问题讨论】：

你要找的是一种半监督学习方法。在图像分割的上下文中，它们与交互式分割技术有关。如果您能提供有关您的问题以及您尝试过的方法的更多详细信息，那将是有益的，因为某些假设会提高您的算法的性能。
我已经更新了这个问题，以展示我到目前为止所做的尝试。我不知道如何在半监督学习的背景下使用标签。
好的，但你的最终目标是什么？您的问题只是为 k-means 集群分配标签吗？一种可能性是只为每个集群分配出现最多的标签，这不是最好的方法，因为它不是分类算法，但它回答了你的问题。但是，我认为您正在寻找将一些注释传播到图像中的其余部分（超像素？），如果是这种情况，您可以详细说明您的问题。
这可能是 XY 问题。 en.wikipedia.org/wiki/XY_problem
“您将为...提供最少的代码”- 请注意，这种语言可能会被很多人所拒绝

标签： scikit-learn k-means image-segmentation unsupervised-learning semantic-segmentation

【解决方案1】：

正如问题的 cmets 中所阐明的，您可以将集群视为超像素，并使用一些半监督分类器 [1] 将标签从几个样本传播到剩余数据。

创建图像以运行示例：

import numpy as np
from skimage.data import binary_blobs
import cv2 
from pyift.shortestpath import seed_competition
from scipy import sparse, spatial
import matplotlib.pyplot as plt 

# creating noisy image
size = 256 
image = np.empty((size, size, 3)) 
image[:, :, 0] = binary_blobs(size, seed=0)
image[:, :, 1] = binary_blobs(size, seed=0)
image[:, :, 2] = binary_blobs(size, seed=1)
image += np.random.randn(*image.shape) / 10
image -= image.min()
image /= image.max()

plt.axis(False)
plt.imshow(image)
plt.show()

计算超像素：

def grid_seeds(image, rows = 15, cols = 15):
    seeds = np.zeros(image.shape[:2], dtype=np.int)
    v_step, h_step = image.shape[0] // rows, image.shape[1] // cols
    count = 1
    for i in range(rows):
        y = v_step // 2 + i * v_step
        for j in range(cols):
            x = h_step // 2 + j * h_step
            seeds[y, x] = count
            count += 1
    return seeds
                                                                                                 
seeds = grid_seeds(image)
_, _, _, superpixels = seed_competition(seeds, image=image)
superpixels -= 1  # shifting labels to zero

contours, _ = cv2.findContours(superpixels, cv2.RETR_FLOODFILL, cv2.CHAIN_APPROX_SIMPLE)
im_w_contours = image.copy()
cv2.drawContours(im_w_contours, contours, -1, (255, 0, 0))

plt.axis(False)
plt.imshow(im_w_contours)
plt.show()

从 4 个任意节点传播标签，每个类（颜色）一个，并用预期颜色为结果标签着色。

def create_graph(image, labels):
    n_nodes = labels.max() + 1
    h, w, d = image.shape
    avg = np.zeros((n_nodes, d))
    for i in range(h):
        for j in range(w):
            avg[labels[i, j]] += image[i, j]
    avg[:] /= np.bincount(labels.flat)[:, np.newaxis]  # ignore label 0
    graph = spatial.distance_matrix(avg, avg)
    return sparse.csr_matrix(graph)

graph = create_graph(image, superpixels)

graph_seeds = np.zeros(graph.shape[0], dtype=np.int)
graph_seeds[1] = 1   # blue training sample
graph_seeds[3] = 2   # yellow training sample
graph_seeds[13] = 3  # white training sample
graph_seeds[14] = 4  # black training sample

label_colors = {1: (0, 0, 255),
                2: (255, 255, 0),
                3: (255, 255, 255),
                4: (0, 0, 0)}

_, _, _, labels = seed_competition(graph_seeds, graph=graph)

result = np.empty_like(image)
for i, lb in enumerate(labels):
    result[superpixels == i] = label_colors[lb]

plt.axis(False)
plt.imshow(result)
plt.show()

对于这个例子，我使用每个超像素的平均颜色之间的差异作为它们的弧权重。但是，在实际问题中，需要一些更精细的特征向量。

此外，标记数据是图像超像素的子集，但这并不是绝对必要的，您可以在对图形进行建模时添加任何人工节点，尤其是作为种子节点。

此方法常用于遥感，本文可能相关[2]。

[1] Amorim, W. P., Falcão, A. X., Papa, J. P. 和 Carvalho, M. H. (2016)。通过最佳连接改进半监督学习。模式识别，60、72-85。

[2] 巴尔加斯、约翰 E. 等人。 “基于超像素的超高分辨率图像交互式分类。” 2014 第 27 届 SIBGRAPI 图形、模式和图像会议。 IEEE，2014 年。

【讨论】：