Perl 需要很长时间来评估：keys %hash / iterate through a large hash

Question

在一个 Perl 脚本中，我构建了一个大散列（大约 10 GB），大约需要 40 分钟，其中包含大约 1 亿个键。接下来我要遍历哈希的键，如下所示：

foreach my $key (keys %hash) {

但是，这条线需要 1 小时 20 分钟来评估！一旦进入 for 循环，代码就会快速遍历整个哈希。

为什么进入forloop需要这么长时间？我怎样才能加快这个过程？

Answer 1

foreach my $key (keys %hash) {

此代码将首先创建一个列表，其中包含 %hash 中的所有键，并且您说您的 %hash 很大，然后需要一段时间才能完成。尤其是当您因为实际内存用完而开始将内存交换到磁盘时。

您可以使用while (my ($key, $value) = each %hash) { 来迭代该哈希，而这个不会创建那个巨大的列表。如果你正在交换，这将快得多，因为你不会了。

Answer 2

有两种迭代哈希的方法，各有优缺点。

方法一：

foreach my $k (keys %h)
{
  print "key: $k, value: $h{$k}\n";
}

优点：

• 可以按键排序输出。

缺点：

• 它会创建一个临时列表来保存密钥，以防您的哈希非常大，您最终会使用大量内存资源。

---

方法二：

while ( ($k, $v) = each %h )
{
  print "key: $k, value: $h{$k}\n";
}

优点：

• 这使用的内存非常少，因为每次调用 each 时它只返回一对 (key, value) 元素。

缺点：

• 您不能按键排序输出。
• 它使用的迭代器属于%h。如果循环内的代码调用了 keys %h、values %h 或 each %h，那么循环将无法正常工作，因为 %h 只有 1 个迭代器