在 Perl 中打开超过 10,000 个文件时出现问题

Question

我需要在 Perl 脚本中打开超过 10,000 个文件，因此我要求系统管理员将我的帐户限制更改为 14,000 个。 ulimit -a 现在显示这些设置：

core file size        (blocks, -c) unlimited
data seg size         (kbytes, -d) unlimited
file size             (blocks, -f) unlimited
open files                    (-n) 14000
pipe size          (512 bytes, -p) 10
stack size            (kbytes, -s) 8192
cpu time             (seconds, -t) unlimited
max user processes            (-u) 29995
virtual memory        (kbytes, -v) unlimited

更改后，我运行了一个测试 Perl 程序，该程序打开/创建 256 个文件并在脚本末尾关闭 256 个文件句柄。当它创建 253 个文件时，程序死了，说打开的文件太多。我不明白为什么会出现此错误。

我正在使用 Solaris 10 平台。这是我的代码

my @list;
my $filename = "test";

for ($i = 256; $i >= 0; $i--) {
    print "$i " . "\n";
    $filename = "test" . "$i";
    if (open my $in, ">", ${filename}) {
        push @list, $in;
        print $in $filename . "\n";
    }
    else {
        warn "Could not open file '$filename'. $!";
        die;
    }
}

for ($i = 256; $i >= 0; $i--) {
    my $retVal = pop @list;
    print $retVal . "\n";
    close($retVal);
}

Answer 1

According to this article 这是 32 位 Solaris 的默认限制。程序通常仅限于使用前 256 个文件编号。 STDIN、STDOUT 和 STDERR 取 0、1 和 2，剩下 253。解决它不是一个简单的过程，ulimit 不会这样做，我不知道 Perl 是否会尊重它。

Here's a discussion about it on Perlmonks 以及一些建议的解决方法，例如 FileCache。

虽然 Solaris 的限制是不可原谅的，但通常有数百个打开的文件句柄表明您的程序可以设计得更好。

Answer 2

您也许可以使用 FileCache 核心模块解决限制（保持打开的文件数量超过系统允许的数量）。

使用cacheout而不是open，我能够在linux上打开100334个文件：

#david@:~/Test$ ulimit -n
1024

#david@:~/Test$ perl plimit.pl | head
100333 
100332 
100331 
100330 
100329 

#david@:~/Test$ perl plimit.pl | tail
test100330
test100331
test100332
test100333

#david@:~/Test$ ls test* | wc -l
100334

脚本的修改版本 (plimit.pl)

my @list;

use FileCache;

$mfile=100333;

my $filename="test";
for($i = $mfile; $i >= 0; $i--) {
    print "$i " . "\n" ;
    $filename = "test" . "$i";
    #if (open my $in, ">", ${filename}) {
     if ($in = cacheout( ">", ${filename}) ) {
        push @list,$in;
        print $in  $filename . "\n";
    } else {
        warn "Could not open file '$filename'. $!";
        die;
    }
}
for($i = $mfile; $i >= 0; $i--) {
    my $retVal = pop @list;
    print $retVal . "\n";
    close($retVal);
}

---

更新

FileCache 如果您超过系统的最大文件描述符数或建议的最大 maxopen（在 sys/param.h 中定义的 NOFILE），则会自动关闭并重新打开文件。

在我的例子中，在一个 linux 机器上，它是 256：

#david@:~/Test$ grep -B 3 NOFILE /usr/include/sys/param.h 

/* The following are not really correct but it is a value 
   we used for a long time and which seems to be usable.  
   People should not use NOFILE and NCARGS anyway.  */
#define NOFILE      256

使用lsof（列出打开的文件）命令，修改后的脚本版本最多打开 100334 个文件中的 260 个：

#david@:~/Test$ bash count_of_plimit.sh
20:41:27 18
new max is 18
20:41:28 196
new max is 196
20:41:29 260
new max is 260
20:41:30 218
20:41:31 258
20:41:32 248
20:41:33 193
max count was 260

count_of_plimit.sh

 #!/bin/bash
 # count open files with lsof
 #
 # latest revision: 
 #   ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/
 # latest FAQ: 
 #  ftp://lsof.itap.purdue.edu/pub/tools/unix/lsof/FAQ

 perl plimit.pl > out.txt &
 pid=$!

##adapted from http://stackoverflow.com/a/1661498
HOW_MANY=0
MAX=0
while [ -r "/proc/${pid}" ]; 
do
    HOW_MANY=`lsof -p ${pid} | wc -l`
    #output for live monitoring
    echo `date +%H:%M:%S` $HOW_MANY
    # look for max value
    if [ $MAX -lt $HOW_MANY ]; then
        let MAX=$HOW_MANY
        echo new max is $MAX
    fi 
    # test every second
    sleep 1
done
echo max count was $MAX

Answer 3

在 Windows 机器和 linux 机器上使用您的程序和以下更简单的程序进行了测试，没有遇到您描述的错误。

my @files;
for (;;) {
   print 1+@files, "\n";
   open my $fh, '<', $0 or die $!;
   push @files, $fh;
   last if @files == 500;
}

输出：

1
2
...
498
499
500

我不认为这是 Perl 限制，而是系统限制。

请注意，当您尝试打开进程的第 257 个句柄（STDIN + STDOUT + STDERR + 253 = 256）时它会失败，这让我相信一个进程可以拥有的打开文件句柄的数量必须适合您的 8 位系统。您可以尝试通过编写等效的 C 程序并在同一台机器上运行来验证这一点。

#include <stdio.h>
#include <stdlib.h>

int main() {
   int i = 0;
   for (;;) {
      ++i;
      printf("%d\n", i);
      if (fopen("/bin/sh", "r") == NULL) {
         perror("fopen");
         exit(1);
      }

      if (i == 500)
         break;
   }

   return 0;
}

更新：已确认here。谢谢，施韦恩。

Answer 4

您有 256 个文件的限制。您忘记了 STDIN、STDOUT 和 STDERR。你的 253 + 默认 3 = 256。