不同数据结构上最近邻查询的运行时比较

Question

给定d维空间中的n个点，有几种数据结构，如Kd-Trees、Quadtrees等来索引这些点。在这些数据结构上，可以为给定输入点周围的最近邻查询实现直接算法。 是否有书、论文、调查……比较不同数据结构上最近邻查询的理论（大多数预期）运行时间？ 我正在查看的数据由相当小的点云组成，因此它们都可以在主内存中进行处理。为了简单起见，我假设数据是均匀分布的。也就是说，我对现实世界的表现不感兴趣，而是对理论结果感兴趣

Answer 1

您让点的维度未定义，您只需给出点数的近似值。小是什么意思？一个人所说的小是相对的。

您搜索的内容当然不存在。你的问题差不多是这样的：

---

问题：

对于一个小的（无论小对你意味着什么）数据集，任何维度的数据遵循均匀分布，最佳数据结构是什么？

回答：

没有这样的数据结构。

---

对此有答案会不会太奇怪了？一个错误的类比是将“哪种是最佳编程语言？”作为这个问题的同义词。大多数一年级本科生都有的问题。你的问题没有那么幼稚，而是走在了同一个轨道上。

---

为什么没有这样的数据结构？

因为，数据集的维度是可变的。这意味着，你可能有一个二维的数据集，但也可能意味着你有一个 1000 维的数据集，或者更好的是 1000 维的数据集，intrinsic dimension 远小于 1000。想想它，是否可以提出一种对我提到的三个数据集表现同样好的数据结构？我怀疑。

事实上，有些数据结构在低维中表现得非常好（例如四叉树和 KD-trees），而另一些在高维中表现得更好（例如 RKD-tree forest）。

此外，用于最近邻搜索的算法和期望在很大程度上取决于数据集的维度（以及数据集的大小和查询的性质（例如离数据集太远或与数据集点等距的查询可能会导致搜索性能变慢））。

在较低维度中，可以执行 k-最近邻 (k-NN) 搜索。在更高的维度上，执行 k-Approximate NN 搜索会更明智。在这种情况下，我们遵循以下权衡：

速度 VS 准确度

通过牺牲结果的正确性，我们可以更快地执行程序。换句话说，我们的搜索例程会比较快，但它可能（这种可能性取决于许多参数，例如您的问题的性质和您使用的库）不返回 true NN，而是精确 NN 的近似值。例如，它可能找不到确切的 NN，而是找到查询点的第三个 NN。您也可以查看approximate-nn-searching wiki 标签。

为什么不总是搜索确切的 NN？因为curse of dimensionality，这导致在较低维度中提供的解决方案表现得与蛮力一样好（为每个查询搜索数据集中的所有点）。

---

你看我的答案已经很大了，所以我应该停在这里。你的问题太宽泛了，但很有趣，我必须承认。 :)

---

总之，哪种数据结构（和算法）最适合使用取决于您的问题。您正在处理的数据集的大小、点的维度和固有维度起着关键作用。查询的数量和性质也起着重要作用。

Answer 2

对于可能不均匀的点数据的最近邻搜索，我认为 kd-tree 通常会给你最好的性能。就广泛的概述和理论成本分析而言，我认为 Wikipedia 是一个不错的起点，但请记住，它并未涵盖太多现实世界的优化：

http://en.wikipedia.org/wiki/Nearest_neighbor_search

http://en.wikipedia.org/wiki/Space_partitioning

理论性能是一回事，但现实世界的性能完全是另一回事。现实世界的性能取决于数据结构实现的细节，就像它取决于数据结构的类型一样。例如，无指针（紧凑数组）实现可以比基于指针的实现快很多倍，因为改进了缓存一致性和更快的数据分配。如果您利用 SIMD 同时测试多个分支，则较宽的分支在理论上可能会更慢，但在实践中会更快。

此外，您的点数据的确切性质也会对性能产生重大影响。均匀分布的要求不高，可以用更简单的数据结构快速处理。非均匀分布需要更多注意。 （Kd-trees 适用于统一和非统一数据。）此外，如果您的数据太大而无法在内核中处理，那么与较小的数据集相比，您将需要采用完全不同的方法。