perl中的标量变量有限制吗？

Question

现在我正在处理大于 (1.5 GB) 的大文件。所以我使用了File::Map。当输入大于2.1 GB 时，脚本失败并显示错误Use of uninitialized value $count in print at file.pl line 16.。

但脚本正在运行2.1GB and below 2.1GB

我的脚本如下

use warnings;
use strict;
use File::Map 'map_file';
my $filename ="/root/Desktop/test_sequence/human_genome";

map_file (my $map,$filename);

my $count;

$count++ while ($map=~/>/g);

print $count; #The file has only 14 `>` so result is 14.

同时我在没有模块的情况下尝试了它。它也以同样的错误终止。

use warnings;
use strict;
my $filename ="/root/Desktop/test_sequence/human_genome";

open my $fh,"<",$filename or die "$!";

my $m = do{local $/; <$fh>};

my $count;

$count++ while ($m=~/>/g);

print $count;

不知道这里有什么问题？

Answer 1

问题确实是最大标量大小。理论上它可以在 32 位 perl 上达到 4 GB，但由于您的地址空间被限制以容纳诸如操作系统之类的东西，所以 2-3.5 GB 通常是真正的限制。使用 64 位操作系统和 perl 应该可以工作。

See this answer了解一些细节。

编辑：在这里工作正常，Fedora 上的 perl 5.22.2，x86_64-linux-thread-multi：

$ dd if=/dev/zero of=zero bs=1M count=5000
5000+0 records in
5000+0 records out
5242880000 bytes (5.2 GB) copied, 34.8694 s, 150 MB/s
$ perl -e 'sub wat{open my $fh, ">>zero" or die $!;
   seek($fh,shift,0); syswrite($fh, ">");}
   wat(1000);
   wat(100_000_000);
   wat(4_500_000_000);'
$ time perl map.pl 
3
real    0m5.638s
user    0m3.921s
sys     0m1.717s

Answer 2

您已在多个位置之一达到有符号 32 位整数限制

32 位有符号值允许从 0x1000_0000 到 0x7FFF_FFFF 的值，即 -2,147,483,648 到 2,147,483,647。因此你的 2.1GB 限制

我不知道这是否是您构建 perl 的限制，或者它是否是 File::Map 的一部分

一次读取一行可以非常简单地处理任何大小的文件，并且由于您在这里的目的似乎只是计算 Unicode GREATER-THAN SIGN 字符的数量，因此您可以像这样轻松完成

use strict;
use warnings;

use constant HUMAN_GENOME => '/root/Desktop/test_sequence/human_genome';

my $count = do {

    open my $fh, '<', HUMAN_GENOME or die sprintf qq{Unable to open "%s": $!}, HUMAN_GENOME;

    my $n = 0;

    $n += tr/>// while <$fh>;

    $n;
};

print $count;