【问题标题】:How is a bitmapped vector trie faster than a plain vector?位图矢量如何比普通矢量更快?
【发布时间】:2012-02-09 07:26:54
【问题描述】:

它是supposedly faster,而不是向量,但我真的不明白引用的局部性应该如何帮助这一点(因为根据定义,向量是可能的最本地打包的数据——每个元素都被打包在后面的元素旁边元素,中间没有多余的空格)。

基准是否假设特定的使用模式或类似的东西?

这怎么可能?

【问题讨论】:

  • 我编辑了标签,以便您的问题被更有可能回答的人注意到。
  • @missingfaktor:非常感谢! :)

标签: scala data-structures clojure functional-programming jvm


【解决方案1】:

位图向量尝试并不严格地比正常向量快,至少不是在所有方面。这取决于您正在考虑的操作。

常规向量更快,例如,在访问特定索引处的数据元素时。很难击败直接索引数组查找。从缓存局部性的角度来看,如果您所做的只是顺序循环它们,那么大数组非常好。

但是,对于其他操作(由于结构共享),位图矢量特里树会快得多 - 例如,在不影响原始数据结构的情况下创建具有单个更改元素的新副本是 O(log32 n) 与 O(n ) 对于传统向量。这是一个巨大的胜利。

这是一个非常值得观看的关于该主题的优秀视频,其中包含很多您可能希望在您的语言中使用此类结构的动机:Persistent Data Structures and Managed References(Rich Hickey 发言)。

【讨论】:

  • 您的解释完全有道理(+1),但您确定他们指的是这个吗?说“BMT 击败 ArrayList”的人非常兴奋……如果是“复制整个列表”而不是“更改一个元素”,那就不会那么令人兴奋了。他真的是这个意思吗?
  • 我认为当您对非常大的数据进行随机访问时,它胜过 ArrayList。
  • @JoeLehmann 不,我不这么认为。位图矢量是一棵树,根据其定义,它不能比普通数组更快地进行随机访问(无论数据有多大)。
【解决方案2】:

其他答案中有很多好东西,但没有人回答你的问题。 PersistenVectors 仅对于按索引进行的大量随机查找(当数组很大时)快速。 “这个怎么可能?”你可能会问。 “一个普通的平面数组只需要移动一个指针,PersistentVector要经过多个步骤。”

答案是“缓存位置”。

缓存总是从内存中获取一个范围。如果你有一个大数组,它不适合缓存。因此,如果您想获取项目 x 和项目 y,则必须重新加载整个缓存。那是因为数组在内存中总是连续的。

现在有了不同的 PVector。有很多小数组漂浮在周围,JVM 对此很聪明,将它们放在内存中彼此靠近。所以对于随机访问,这很快;如果你按顺序运行它会慢得多。

我不得不说我不是硬件或 JVM 如何处理缓存局部性方面的专家,而且我自己从未对此进行过基准测试;我只是在复述我从其他人那里听到的东西:)

编辑:mikera 也提到了这一点。

编辑 2:请参阅有关功能数据结构的讨论,如果您只对向量感兴趣,请跳到最后一部分。 http://www.infoq.com/presentations/Functional-Data-Structures-in-Scala

【讨论】:

    【解决方案3】:

    位图向量树(又名持久向量)是 Rich Hickey 为 Clojure 发明的一种数据结构,自 2010 年 (v 2.8) 以来已在 Scala 中实现。正是其巧妙的按位索引策略允许高效地访问和修改大型数据集。

    来自Understanding Clojure's Persistent Vectors:

    可变向量和 ArrayLists 通常只是不断增长的数组 并在需要时收缩。当您需要可变性时,这很有效, 但是当您想要持久性时,这是一个大问题。你变慢了 修改操作,因为您必须复制整个数组 一直,而且会占用大量内存。这将是理想的 以某种方式尽可能避免冗余而不会丢失 查找值时的性能以及快速操作。那 正是 Clojure 的持久化向量所做的,并且完成了 通过平衡、有序的树。

    这个想法是实现一个类似于二进制的结构 树。唯一的区别是树中的内部节点有 最多引用两个子节点,并且不包含任何元素 他们自己。叶节点最多包含两个元素。要素 are in order,这意味着第一个元素是第一个元素 在最左边的叶子中,最后一个元素是最右边的元素 最右边的叶子。现在,我们要求所有的叶子节点都在 相同深度2。例如,看看下面的树:它有 其中的整数 0 到 8,其中 0 是第一个元素,而 8 是 最后的。数字 9 是向量大小:

    如果我们想在这个向量的末尾添加一个新元素并且我们 在可变世界中,我们将在最右边的叶子中插入 9 节点,像这样:

    但问题是:如果我们想要坚持不懈,我们就无法做到这一点。 如果我们想更新一个元素,这显然是行不通的! 我们需要复制整个结构,或者至少是其中的一部分。

    为了在保持完全持久性的同时最小化复制,我们执行路径 复制:我们将路径上的所有节点复制到我们要考虑的值 更新或插入,并在我们更新时将值替换为新值 在底部。多次插入的结果如下所示。这里, 具有 7 个元素的向量与具有 10 个元素的向量共享结构 元素:

    粉红色的节点在向量之间共享,而 棕色和蓝色是分开的。其他未可视化的向量也可能 与这些向量共享节点。


    更多信息

    除了Understanding Clojure's Persistent Vectors,这个数据结构背后的想法和它的用例在David Nolen 2014 年的讲座Immutability, interactivity & JavaScript 中也得到了很好的解释,下面的截图就是从那里截取的。或者,如果您真的想深入了解技术细节,另请参阅 Phil Bagwell 的 Ideal Hash Trees,这是 Hickey 最初的 Clojure 实现所依据的论文。

    【讨论】:

      【解决方案4】:

      “普通向量”是什么意思?只是一组扁平的物品?如果你从不更新它很好,但是如果你改变了一个 1M 元素的平面向量,你必须做很多复制;树的存在是为了让您共享大部分结构。

      【讨论】:

      • 为什么一定要复制?不能直接修改一个ArrayList吗?
      • 插入或删除一个元素将需要移动所有后续元素,这很昂贵。此外,修改元素的值在函数式语言中不起作用,因此对于幼稚的实现,您必须复制所有未修改的元素。
      【解决方案5】:

      简短的解释:它利用了 JVM 对读/写/复制数组数据结构进行如此努力的优化这一事实。 IMO 的关键方面是,如果您的向量增长到一定大小,索引管理就会成为瓶颈。这是来自持久向量的非常聪明的算法,在非常大的集合上它优于标准变体。所以基本上它是一个功能性数据结构,它之所以表现如此出色,是因为它建立在小型可变高度优化的 JVM 数据结构上。 有关更多详细信息,请参见此处(最后) http://topsy.com/vimeo.com/28760673

      【讨论】:

      • 这里的“索引管理”开销到底是什么?为大小和容量保留int?
      • 在我上面链接的视频中解释了多种功能数据结构,最后一个是位图向量树。观看(大约 7 分钟)它非常值得,而且比我现在在 iPhone 上表达的更好;)
      • 与问题中的链接相同的视频。
      • 嗨丹尼尔!谢谢澄清这一点。对我来说,丹尼尔斯的解释完全有道理,也足够了。如果我没记错的话,他还写了一些关于该主题的博文,也许会有所帮助。
      【解决方案6】:

      从演讲的标题来看,它讨论的是 Scala 向量,它甚至不接近“可能的最本地打包数据”:请参阅https://lampsvn.epfl.ch/trac/scala/browser/scala/tags/R_2_9_1_final/src/library/scala/collection/immutable/Vector.scala 的源代码。

      您的定义仅适用于 Lisps(据我所知)。

      【讨论】:

      • 如果你听的话,它正在谈论 Java.util.ArrayList。
      猜你喜欢
      • 2016-05-07
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-02-14
      • 1970-01-01
      相关资源
      最近更新 更多