【问题标题】:Using a slice instead of list when working with large data volumes in Go在 Go 中处理大量数据时使用切片而不是列表
【发布时间】:2021-05-02 10:19:43
【问题描述】:

我对 Go 中切片的实用性有疑问。我刚刚看到Why are lists used infrequently in Go?Why use arrays instead of slices?,但有一些我没有看到在那里回答的问题。

在我的应用程序中:

  • 我读取了一个包含大约 1000 万条记录的 CSV 文件,每条记录有 23 列。
  • 对于每条记录,我创建一个结构并将其放入一个链表中。
  • 读取所有记录后,应用程序逻辑的其余部分将使用此链接列表(处理逻辑本身与此问题无关)。

我更喜欢列表而不是切片的原因是由于数组/切片需要大量的连续内存。另外,由于我不知道文件中确切记录数的大小,所以我无法预先指定数组大小(我知道 Go 可以根据需要动态地重新调整切片/数组的大小,但这似乎非常糟糕对于如此庞大的数据集效率低下)。

我阅读的每篇 Go 教程或文章似乎都建议我应该使用切片而不是列表(因为切片可以完成列表可以做的所有事情,但以某种方式做得更好)。但是,我不明白切片如何或为什么对我的需要更有帮助?任何人的任何想法?

【问题讨论】:

  • 我看到有人对这个问题投了反对票。你能至少解释一下你为什么这样做吗?我真的不明白为什么分配(和重新调暗)一个大的连续内存块比使用几个较小的非连续块更好。谢谢。
  • 切片和链接列表是具有不同特征的不同事物,如果您的解决方案使用链接列表“更好”(为了您的定义更好),那就这样做。我在这里没有看到问题。

标签: go linked-list slice


【解决方案1】:

...大约 1000 万条记录,每条记录 23 列...我更喜欢列表而不是切片的原因是由于数组/切片需要大量的连续内存。

这种连续的内存有它自己的好处,也有它的缺点。让我们考虑这两个部分。

(请注意,也可以使用混合方法:块列表。不过,这似乎不太值得。)

另外,由于我不知道文件中确切记录数的大小,因此我无法预先指定数组大小(我知道 Go 可以根据需要动态重新调整切片/数组的大小,但是对于如此庞大的数据集,这似乎非常低效)。

显然,如果有 n 条记录,并且您分配并填写每条记录一次(使用列表),则这是 O(n)。

如果您使用切片,并且每次都分配一个额外的切片条目,则从 none 开始,将其增长到大小 1,然后将 1 复制到大小为 2 的新数组并填充项目 #2,增长它大小为 3 并填写项目 #3,依此类推。 n 个实体中的第一个被复制 n 次,第二个被复制 n-1 次,依此类推,对于 n (n+1)/2 = O(n2) 份。但是如果你使用乘法扩展技术——Go 的 append 实现就是这样做的——这会减少到 O(log n) 个副本。虽然每个都复制更多字节。它最终是 O(n),摊销(见Why do dynamic arrays have to geometrically increase their capacity to gain O(1) amortized push_back time complexity?)。

切片使用的空间显然是 O(n)。用于链表方法的空间也是 O(n)(尽管现在记录需要至少一个前向指针,因此每条记录需要一些额外空间)。

因此,就构造数据所需的时间和保存数据所需的空间而言,它是 O(n)无论哪种方式。您最终会得到相同的总内存需求。乍一看,主要区别在于链表方法不需要连续内存。

那么:在使用连续内存时,我们失去了什么,又获得了什么?

我们失去了什么

我们失去的东西是显而易见的。如果我们已经有碎片化的内存区域,我们可能无法能够获得正确大小的连续块。也就是说,给定:

used: 1 MB (starting at base, ending at base+1M)
free: 1 MB (starting at +1M, ending at +2M)
used: 1 MB (etc)
free: 1 MB
used: 1 MB
free: 1 MB

我们总共有 6 MB,3 个已用,3 个免费。我们可以分配 3 个 1 MB 的块,但我们不能分配一个 3 MB 的块,除非我们能够以某种方式压缩三个“已使用”区域。

由于 Go 程序倾向于在大内存空间机器(虚拟大小为 64 GB 或更大)上的虚拟内存中运行,这往往不是一个大问题。当然每个人的情况都不同,所以如果你真的受到 VM 的限制,那是一个真正的问题。 (其他语言都有压缩 GC 来处理这个问题,未来的 Go 实现至少在理论上可以使用压缩 GC。)

我们的收获

第一个好处也很明显:我们不需要在每条记录中都有指针。这节省了一些空间——确切的数量取决于指针的大小、我们是否使用单链表等等。让我们假设 2 个 8 字节指针,或每条记录 16 个字节。乘以 1000 万条记录,我们在这里看起来相当不错:我们节省了 160 MB。 (Go 的 container/list 实现使用双向链表,在 64 位机器上,这是所需的每个元素线程的大小。)

虽然一开始我们得到了一些不太明显的东西,但它巨大。因为 Go 是一种垃圾收集语言,每个指针都是 GC 必须在不同时间检查的东西。切片方法每条记录有 零个额外指针;链表方法有两个。这意味着 GC 系统可以避免检查不存在的 2000 万指针(在 1000 万条记录中)。

结论

次使用container/list。如果您的算法确实需要一个列表并且以这种方式明显更清晰,那么就这样做,除非并且直到它在实践中被证明是一个问题。或者,如果您的项目可以在某个列表集合中——这些项目实际上是共享的,但其中一些在 X 列表中,一些在 Y 列表中,一些在两个列表中——这需要列表样式容器。但是,如果有一种简单的方法可以将某些内容表示为列表 切片,请先选择切片版本。因为切片是内置在 Go 中的,所以您还可以获得第一个链接 (Why are lists used infrequently in Go?) 中提到的类型安全/清晰性。

【讨论】:

  • 谢谢@torek。 GC 开销确实是我忽略的东西,而且肯定是使用双链表的缺点之一。
猜你喜欢
  • 2021-06-30
  • 2017-07-27
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-08-12
  • 2010-12-12
  • 1970-01-01
  • 2023-03-20
相关资源
最近更新 更多