从候选列表中找到最佳 k-means

Question

我有一个大小为 n 的点数组，称为 A，还有一个大小为 O(k)>k 的候选数组，称为 S。我想在 S 中找到 k 个点，使得到 A 的点的距离平方和从 k 个点到它们最近的点将被最小化。一种方法是检查 S 中任何可能的 k 点的成本并取最小值，但这需要 O(k^k*n) 时间，有没有更有效的方法来做到这一点？

我需要一个最优解或一个常数近似值。

我需要这个的原因是我试图尽可能快地找到 k-means 的常数近似值，然后将其用于核心集构造（核心集 = 数据最小化，同时仍然保持任何查询的成本大约相同）。我能够证明，如果我们假设在最优聚类中每个聚类都有 omega(n/k) 点，我们可以非常快速地创建一个大小为 O(k) 的候选者列表，其中包含 k 的 3 近似值-意思是，所以我想知道我们是否可以及时找到那些 k 点或它们的成本的常数近似值，这比穷举搜索要快。

k=2 的示例 在此示例中，S 是绿点，A 是红点。该算法应返回 S 中的 2 个圆圈点，因为它们最小化了从 A 的点到 2 的最近点的距离平方和。

Answer 1

我有一个大小为n 的点数组，称为A，还有一个大小为O(k)>k 的候选数组，称为S。我想在S 中找到k 点，以便最小化从A 的点到距离k 点最近的点的平方距离之和。

听起来这个问题可以简单地通过检查N点和K点来找到N中具有最小平方距离的k点。

因此，我现在相当确定这实际上是在 N 点中为 K 点中的每个点找到 k-nearest neighbors（K-NN 作为计算几何问题，而不是模式识别定义）而实际上并不是 k-means。

对于更高维度，在算法中同时考虑维度D 通常很有用。

提到的算法确实是O(NDk^2) 然后在考虑K-NN 时。这可以通过对距离使用快速选择算法改进为O(NDk)。这允许对照O(N) 中的每个K 点检查N 点列表，以找到最近的k 点。

https://en.wikipedia.org/wiki/Quickselect

编辑： 似乎对快速选择以及是否可以使用有些混淆。这是一个O(DkNlogN) 解决方案，它使用标准排序O(NlogN) 而不是快速选择O(N)。虽然这在实践中可能会更快，而且正如您在大多数语言中看到的那样，它很容易实现。

results = {}
for y in F:
  def distanceSquared(x):
    distance(x,y) # Custom distance for each y

  # First k sorted by distanceSquared
  results[y] = S.sort(key=distanceSquared)[:k]
return results

---

更新新视觉效果

# Build up distance sums O(A*N*D)
results = {}
for y in F:
  def distanceSquared(x):
    distance(x,y) # Custom distance for each y

  # Sum of distance squared from y for all points in S
  results[y] = sum(map(distanceSquared, S))

def results_key_value(key):
  results[key]

# First k results sorted by key O(D*AlogA)
results.keys().sort(key=results_key_value)[:k]

---

您可以只考虑从S 点中选择的 Z 个随机点来进行近似。或者，您可以合并S 中的点，前提是它们足够接近。这可以将S 减小到更小的尺寸，只要S 的尺寸保持在F^2 左右或更大，它不应该影响F 中的哪些点被选择得太多。尽管您还需要调整点的权重以更好地处理它。 IE：表示 10 个点的点的平方距离乘以 10，以说明它作为 10 个点而不是 1。