在python中通过其相似性进行图像聚类

Question

我有一组照片，我想区分相似照片的集群。图像的哪些特征以及我应该使用哪种算法来解决我的任务？

Answer 1

我遇到了同样的问题，我想出了这个解决方案：

1. 使用 Keras 导入预训练模型（此处为 VGG16）
2. 提取每张图片的特征
3. 做kmeans
4. 使用集群标签复制导出

这是我的代码，部分原因是 this post。

from keras.preprocessing import image
from keras.applications.vgg16 import VGG16
from keras.applications.vgg16 import preprocess_input
import numpy as np
from sklearn.cluster import KMeans
import os, shutil, glob, os.path
from PIL import Image as pil_image
image.LOAD_TRUNCATED_IMAGES = True 
model = VGG16(weights='imagenet', include_top=False)

# Variables
imdir = 'C:/indir/'
targetdir = "C:/outdir/"
number_clusters = 3

# Loop over files and get features
filelist = glob.glob(os.path.join(imdir, '*.jpg'))
filelist.sort()
featurelist = []
for i, imagepath in enumerate(filelist):
    print("    Status: %s / %s" %(i, len(filelist)), end="\r")
    img = image.load_img(imagepath, target_size=(224, 224))
    img_data = image.img_to_array(img)
    img_data = np.expand_dims(img_data, axis=0)
    img_data = preprocess_input(img_data)
    features = np.array(model.predict(img_data))
    featurelist.append(features.flatten())

# Clustering
kmeans = KMeans(n_clusters=number_clusters, random_state=0).fit(np.array(featurelist))

# Copy images renamed by cluster 
# Check if target dir exists
try:
    os.makedirs(targetdir)
except OSError:
    pass
# Copy with cluster name
print("\n")
for i, m in enumerate(kmeans.labels_):
    print("    Copy: %s / %s" %(i, len(kmeans.labels_)), end="\r")
    shutil.copy(filelist[i], targetdir + str(m) + "_" + str(i) + ".jpg")

Answer 2

这个问题太笼统了。

一般来说，您可以使用任何clustering mechanism，例如一种流行的k-means。要为聚类准备数据，您需要将集合转换为数组 X，其中每一行都是一个示例（图像），每一列都是一个特征。

主要问题 - 你的功能应该是什么。如果不知道您要完成什么，就很难回答。如果您的图像很小且大小相同，您可以简单地将每个像素作为一个特征。如果您有任何元数据并想使用它进行排序 - 您可以将元数据中的每个标签都作为一个特征。

现在，如果您确实需要在图像之间找到一些模式，则必须应用额外的处理层，例如 convolutional neural network，它本质上允许您从图像的不同部分中提取特征。您可以将其视为一个过滤器，它将每个图像转换为 8x8 矩阵，然后相应地可以将其用作数组 X 中具有 64 个不同特征的行来进行聚类。