有人可以告诉我算法的名称（如果存在）或告诉我如何找到它

Question

这是一个想法：

有一个巨大的 2D 数据集（250,000 个数据点）。 我需要在不损害数据结构的情况下摆脱 90% 的数据点。这意味着（我相信）摆脱最接近的人。密度必须降低...

考虑到我们需要保留结构 - 我们不能随意删除 90%，因为这可能会导致偏差。这其中可能有一点随机元素，但不会太多。 我可以将数据放入二维矩阵并划分为单元格。然后一些单元格会有更多的数据点，有的单元格会更少，有的单元格没有。

我需要将这些数据点或矩阵中的单元格分组为段的算法，这些段中的数据点数量都相对接近。 “新”矩阵中的那些段或单元格可以是不同的大小（我相信这是这个算法的重点）。

我画了一幅画。它不准确，但我希望它会使想法更清晰。

我也用 python 编码:^)

谢谢！！

Answer 1

你正在搜索的算法是一种无监督学习方法，最著名的是python上的kmeans。

您可以在此处找到文档：https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html

这是一个数组的代码示例：

from sklearn.cluster import KMeans
import numpy as np
X = np.array([[1, 2], [1, 4], [1, 0],
               [10, 2], [10, 4], [10, 0]])
kmeans = KMeans(n_clusters=2, random_state=0).fit(X)
kmeans.labels_

如果你必须为数据框 (df) 调整它，它看起来像这样：

from sklearn.cluster import KMeans
X = df[['column A',..., 'column D']]
kmeans = KMeans(n_clusters=2, random_state=0).fit(X)
kmeans.labels_

输出标签是您的集群。