Perl 内存不足但有足够的可用内存答案

【问题标题】：Perl Out of memory but there is plenty of available memoryPerl 内存不足但有足够的可用内存
【发布时间】：2014-07-17 11:28:20
【问题描述】：

我正在运行一个 perl 脚本，该脚本因内存不足错误而崩溃。该脚本在具有 128 Gb 内存的机器上运行在 Ubuntu Linux 下。在提交时，大部分内存都可用，但是脚本由于其已用内存超过了略高于 8Gb 的值而死掉。机器（和操作系统）是 64 位的。

我一直在网上搜索 perl 中内存分配的限制，但我发现唯一的限制是机器内存，在这种情况下，即使不考虑交换分区，也会有很多限制。

这是我第二次遇到这个问题。我第一次使用不同的脚本时发生了同样的事情。有人有解释吗？我看到的唯一可能是 perl 对内存分配有一些限制，但是我在网上搜索的所有结果似乎都与这种可能性相矛盾。

提前致谢

编辑 1：操作系统是 Fedora Linux，而不是 Ubuntu Linux。对不起，我弄混了。

编辑 2：以下是导致错误的代码部分：

open( $psFullInput, "<", "fullPsIn.dat" );
$counter = <$psFullInput>;  # First element is counter of spectra
while ($line = <$psFullInput>)  {
  @elems = split(" ",$line);
  $xx = shift(@elems);
  $yy = shift(@elems);
  $freq = shift(@elems);
  $psStored[$xx][$yy] = [];
  push( @{$psStored[$xx][$yy]}, @elems );
}
close( $psFullInput );

前面的脚本做了类似的事情，只是数组元素不是从文件中读取的，而是一些计算的结果。

编辑 3： perl -V 的结果：

 Summary of my perl5 (revision 5 version 16 subversion 3) configuration:

  Platform:
    osname=linux, osvers=3.10.9-200.fc19.x86_64, archname=x86_64-linux-thread-multi
    uname='linux buildvm-01.phx2.fedoraproject.org 3.10.9-200.fc19.x86_64 #1 smp wed aug 21 19:27:58 utc 2013 x86_64 x86_64 x86_64 gnulinux '
    config_args='-des -Doptimize=-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -grecord-gcc-switches  -m64 -mtune=generic -Dccdlflags=-Wl,--enable-new-dtags -Dlddlflags=-shared -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -grecord-gcc-switches  -m64 -mtune=generic -Wl,-z,relro  -DDEBUGGING=-g -Dversion=5.16.3 -Dmyhostname=localhost -Dperladmin=root@localhost -Dcc=gcc -Dcf_by=Red Hat, Inc. -Dprefix=/usr -Dvendorprefix=/usr -Dsiteprefix=/usr/local -Dsitelib=/usr/local/share/perl5 -Dsitearch=/usr/local/lib64/perl5 -Dprivlib=/usr/share/perl5 -Dvendorlib=/usr/share/perl5/vendor_perl -Darchlib=/usr/lib64/perl5 -Dvendorarch=/usr/lib64/perl5/vendor_perl -Darchname=x86_64-linux-thread-multi -Dlibpth=/usr/local/lib64 /lib64 /usr/lib64 -Duseshrplib -Dusethreads -Duseithreads -Dusedtrace=/usr/bin/dtrace -Duselargefiles -Dd_semctl_semun -Di_db -Ui_ndbm -Di_gdbm -Di_shadow -Di_syslog -Dman3ext=3pm -Duseperlio -Dinstallusrbinperl=n -Ubincompat5005 -Uversiononly -Dpager=/usr/bin/less -isr -Dd_gethostent_r_proto -Ud_endhostent_r_proto -Ud_sethostent_r_proto -Ud_endprotoent_r_proto -Ud_setprotoent_r_proto -Ud_endservent_r_proto -Ud_setservent_r_proto -Dscriptdir=/usr/bin -Dusesitecustomize'
    hint=recommended, useposix=true, d_sigaction=define
    useithreads=define, usemultiplicity=define
    useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef
    use64bitint=define, use64bitall=define, uselongdouble=undef
    usemymalloc=n, bincompat5005=undef
  Compiler:
    cc='gcc', ccflags ='-D_REENTRANT -D_GNU_SOURCE -fno-strict-aliasing -pipe -fstack-protector -I/usr/local/include -D_LARGEFILE_SOURCE -D_FILE_OFFSET_BITS=64',
    optimize='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic',
    cppflags='-D_REENTRANT -D_GNU_SOURCE -fno-strict-aliasing -pipe -fstack-protector -I/usr/local/include'
    ccversion='', gccversion='4.8.2 20131017 (Red Hat 4.8.2-1)', gccosandvers=''
    intsize=4, longsize=8, ptrsize=8, doublesize=8, byteorder=12345678
    d_longlong=define, longlongsize=8, d_longdbl=define, longdblsize=16
    ivtype='long', ivsize=8, nvtype='double', nvsize=8, Off_t='off_t', lseeksize=8
    alignbytes=8, prototype=define
  Linker and Libraries:
    ld='gcc', ldflags =' -fstack-protector'
    libpth=/usr/local/lib64 /lib64 /usr/lib64
    libs=-lresolv -lnsl -lgdbm -ldb -ldl -lm -lcrypt -lutil -lpthread -lc -lgdbm_compat
    perllibs=-lresolv -lnsl -ldl -lm -lcrypt -lutil -lpthread -lc
    libc=, so=so, useshrplib=true, libperl=libperl.so
    gnulibc_version='2.17'
  Dynamic Linking:
    dlsrc=dl_dlopen.xs, dlext=so, d_dlsymun=undef, ccdlflags='-Wl,--enable-new-dtags -Wl,-rpath,/usr/lib64/perl5/CORE'
    cccdlflags='-fPIC', lddlflags='-shared -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -Wl,-z,relro '


Characteristics of this binary (from libperl): 
  Compile-time options: HAS_TIMES MULTIPLICITY PERLIO_LAYERS
                        PERL_DONT_CREATE_GVSV PERL_IMPLICIT_CONTEXT
                        PERL_MALLOC_WRAP PERL_PRESERVE_IVUV USE_64_BIT_ALL
                        USE_64_BIT_INT USE_ITHREADS USE_LARGE_FILES
                        USE_LOCALE USE_LOCALE_COLLATE USE_LOCALE_CTYPE
                        USE_LOCALE_NUMERIC USE_PERLIO USE_PERL_ATOF
                        USE_REENTRANT_API USE_SITECUSTOMIZE
  Built under linux
  Compiled at Nov 11 2013 12:36:47
  %ENV:
    PERL5LIB="/home/parisia/lib/perl5/lib64/perl5"
  @INC:
    /home/parisia/lib/perl5/lib64/perl5
    /usr/local/lib64/perl5
    /usr/local/share/perl5
    /usr/lib64/perl5/vendor_perl
    /usr/share/perl5/vendor_perl
    /usr/lib64/perl5
    /usr/share/perl5
.

编辑 4：这是重现问题的简短代码。如你所见，我只是在填满内存。

use strict;
use warnings;

my ($xx,$yy);  # Coordinate variables
my (@elems);   # Array of elements to be stored on each matrix position

# Generate an array of 3000 floating point values.
# The list will be added to each array element. In the true script
# of course, each element has a list of completely different values.
# Here I use the same list of values for simplicity.
for ($xx = 1; $xx < 3000; $xx++)  {
  push( @elems, 1+$xx/10000 );
}

# Fill in each matrix element with the generated array
my @psStored;
for ($xx = 0; $xx < 300; $xx++)  {
  print "Row [$xx]\n";
  for ($yy = 0; $yy < 300; $yy++)  {
    push( @{$psStored[$xx][$yy]}, @elems );
  }
}

这是崩溃前“free”的结果（机器上运行了一些并行进程）：

[parisia@gloria01 ~]$ free
             total       used       free     shared    buffers     cached
Mem:     132015788   46395504   85620284          0     217192   16979772
-/+ buffers/cache:   29198540  102817248
Swap:    268435452          0  268435452

更新 1

我进一步调查。正如建议的那样，我使用了 Devel::Size 并检查了 $psStored 的大小。输出的最后几行（在 $yy 中每个循环结束时打印大小）是：

Row [226]
8772773032
Row [227]
8811419600
Row [228]
Out of memory!

脚本报错时进程的大小为： VIRT：8943960，RES：8.406g

但是，我尝试了以下脚本，该脚本分配了命令行中指定的给定大小（以千兆字节为单位）的字符串：

use strict;
use warnings;

my $size = $ARGV[0];
print "$size GB ";
$size = int($size * 1000000000);
print "($size bytes)...\n";
my $var = "x" x $size;
print "Allocated\n";

这个脚本对大分配没有问题。例如，我可以请求 30 GB，并且在脚本完成之前我从“top”得到以下输出： VIRT：56.004g，RES：0.054t

因此，在处理数组时有些东西会干扰分配，但我不明白发生了什么。我也尝试过使用哈希，但我在 8-9GB 左右得到了同样的限制。

【问题讨论】：

您的意思是 GB（字节）而不是 Gb（位），对吗？您能告诉我们这个脚本使用的 8 GB 的大部分分配是什么吗？是很多小块还是几个大块？知道它在用完时试图分配多少内存吗？你试过在调试器中运行吗？
尝试编辑您的问题并粘贴到perl -V的输出中
@JohnZwinck 是的千兆字节。我认为是小块。我将编辑问题以放置给出错误的代码部分。
@MarkSetchell 我添加了 perl -V 的输出
愚蠢的问题：您确定运行脚本的用户对内存使用没有任何限制吗？这可以通过ulimit -a 进行检查。

标签： linux perl memory

【解决方案1】：

我怀疑$xx 和$yy 的值相当大且稀疏（即它们之间存在很大差距）。这意味着 Perl 必须为所有中间值创建数组元素，即使其中没有数据。

数据结构的设计主要取决于构建后你想用它做什么，以及你需要如何访问它。最节省空间的方法是使用哈希，这样如果你有

$xx = 1024
$yy = 2048

那么您可以将频率存储在 hash em> $ps_stored{'1024,2048'} 一点也不浪费空间。

由于您没有说明您将如何使用这些数据，我无法确定它是否可以这样使用，但这里有一些代码可以替换您的代码，以这种方式构建哈希。

use strict;
use warnings;
use autodie;

my %ps_stored;

open my $ps_full_input, '<', 'fullPsIn.dat';
my $counter = <$ps_full_input>;  # First element is counter of spectra

while (<$ps_full_input>)  {
  my @elems = split;
  my ($xx, $yy, $freq) = @elems;
  push @{ $ps_stored{"$xx,$yy"} }, \@elems;
}

close $ps_full_input;

注意以下事项

您必须始终检查open 调用是否成功。忽略失败的open 将使您的程序无缘无故地产生废话。你可以写一个显式的
```
open my $ps_full_input, '<', 'fullPsIn.dat' or die $!;
```
或者您可以在程序顶部使用use autodie，如果您的代码中有多个open 调用，这很有用
您必须始终将use strict 和use warnings 放在每个Perl 程序的顶部，并使用my 将所有变量声明为尽可能接近它们的第一个使用点.因为您的代码是一个示例，所以不清楚您是否有 strict 和 warnings，但根本没有声明，所以出了点问题
习惯使用 Perl 的人会感谢您在本地标识符中仅使用小写字母、数字和下划线。大写字母保留给包和模块名称，例如Data::Dumper
在push 之前，无需将标量值预设为对空数组的引用。只要标量仍然是undef，数组就会在您第一次使用push 时自动激活。比如
```
my $aref;
push @{ $aref }, 1, 2, 3;
```
效果和
一样
```
my $aref;
$aref = [];
push @{ $aref }, 1, 2, 3;
```
我已将@elems 数组的引用推送到ps_stored 列表中。我不知道 $xx 和 $yy 的特定值是否可以多次出现，但如果它们这样做了，那么你的方式只会将所有不同的 @elems 集合推到一个列表中，这可能很难拆分回到单独的集合。如果您推送引用，那么它们将保持独立

希望对你有帮助

【讨论】：

您好，感谢您的回答。我正在阅读的是一个密集矩阵：大约三分之一的元素总数包含数据。每个矩阵元素中存储的数据是大约 3000 个浮点值的列表。对于存储此类数据的最佳方式，我根本不是专家，但我已经尝试过散列，在我的情况下看起来好像没有太大区别。当然我可能做错了。
代码开头有通常的“use strict”和“use warnings”。事实上，我没有检查是否正确打开，但即使进行了正确的检查，我也达到了相同的内存限制。所有变量都在我展示的代码块之前正确声明。
@Andrea：好的，所以你浪费了大约 2/3 的数组元素，这相当于分配的内存的 25%。这似乎可以接受。我想知道$xx 和$yy 的值的范围。您还应该安装Devel::Size 并将print total_size($psStored), "\n" 作为while 循环内的最后一条语句。您可能还想打印数据文件行号$.。通过这种方式，您可以在浏览文件时观察数组大小的增长，并了解问题的规模。
我使用了你的建议，但它没有给我任何额外的提示。我也做了进一步的调查，使用数组或哈希时会出现问题。如果我请求一大块内存，那么分配不会有任何问题。我很困惑，我不明白发生了什么。我在原始帖子的“更新 1”下报告了所有内容。
@Andrea：你试过Devel::Size吗？您是否创建了一个像我一样显示相同问题的 16 行程序？我会帮助你，但我需要一份导致 内存不足 错误的程序和数据的副本。如果您在pastebin 上发布一些内容并在此处放置指向它的链接，那么我会看看

【解决方案2】：

OP，你能用一个非常短的测试脚本复制这个问题吗？也许你可以发布测试脚本，我会在我的机器上运行它。也许您没有编写的模块会变得不稳定。

用哈希试试这个代码。

use strict;
use warnings;

my ($xx,$yy);  # Coordinate variables
my (@elems);   # Array of elements to be stored on each matrix position

# Generate an array of 3000 floating point values.
# The list will be added to each array element. In the true script
# of course, each element has a list of completely different values.
# Here I use the same list of values for simplicity.
for ($xx = 1; $xx < 3000; $xx++)  {
  push( @elems, 1+$xx/10000 );
}

# Fill in each matrix element with the generated array
my %psStored;
my $s;
$s=join('=',@elems);
for ($xx = 0; $xx < 300; $xx++)  {
  print "Row [$xx]\n";
  for ($yy = 0; $yy < 300; $yy++)  {
    $psStored{$xx,$yy} = $s; # Here I join all elements and store them as a string.
    #push( @{$psStored[$xx][$yy]}, @elems );
  }
}

【讨论】：

我已经编辑了帖子并添加了一个短代码，它给了我内存不足的错误。如您所见，我只是在填充内存。程序在“Row [231]”之后给出错误。
真该死。在打印“Row [139]”后，我也遇到了内存不足错误。我在 Linux RHEL 5.5.56 和 Perl 5.8.8 上。
这很有趣！所以有问题，不是吗？
我使用了字符串的哈希值并将新代码放在上面。尝试一下。使用 2D 哈希没有错误。
是的，这确实有效。很好，然后我可以根据需要处理每个字符串！然而问题仍然存在。为什么我达到了大约 8Gb 的限制？ perl 进程可以使用的内存量是否有限制？看起来好像有是一个限制。