当内存使用量变高时，Perl 多线程会变慢

Question

大家好~ 我用 Perl 编写了一个非常简单的代码，使用多线程。代码如下。

#!/bin/perl

use strict;
use threads;
use Benchmark qw(:hireswallclock);

my $starttime;
my $finishtime;
my $timespent;
my $num_of_threads = 1;
my $total_size = 10000000;
my $chunk_size = int($total_size / $num_of_threads);

if($total_size % $num_of_threads){
        $chunk_size++;
}

my @threads = ();

$starttime = Benchmark->new;

for(my $i = 0; $i < $num_of_threads; $i++) {
        my $thread = threads->new(\&search);
        push (@threads, $thread);
}

foreach my $thread (@threads) {
        $thread->join();
}

my $finishtime = Benchmark->new;
$timespent = timediff($finishtime, $starttime);
print "$num_of_threads threads used in ".timestr($timespent)."\nDone!\n";

sub search{
        my $i = 0;
        while($i < $chunk_size){
            $i++;
        }

        return 1;
}

这段代码运行良好，当增加线程数时，它会运行得更快。

但是，当在中间添加额外的行时，会创建一个很大的数组，添加更多线程时代码会运行得更慢。带有附加行的代码如下所示。

#!/bin/perl

use strict;
use threads;
use Benchmark qw(:hireswallclock);

my $starttime;
my $finishtime;
my $timespent;
my $num_of_threads = 1;
my $total_size = 10000000;
my $chunk_size = int($total_size / $num_of_threads);

if($total_size % $num_of_threads){
        $chunk_size++;
}

##########Additional codes##########
print "Preparing data...\n";
$starttime = Benchmark->new;

my @array = ();

for(my $i = 0; $i < $total_size; $i++){
        my $rn = rand();
        push(@array, $rn);
}

$finishtime = Benchmark->new;
$timespent = timediff($finishtime, $starttime);
print "Used ".timestr($timespent)."\n";
######################################

my @threads = ();

$starttime = Benchmark->new;

for(my $i = 0; $i < $num_of_threads; $i++) {
        my $thread = threads->new(\&search);
        push (@threads, $thread);
}

foreach my $thread (@threads) {
        $thread->join();
}

my $finishtime = Benchmark->new;
$timespent = timediff($finishtime, $starttime);
print "$num_of_threads threads used in ".timestr($timespent)."\nDone!\n";

sub search{
        my $i = 0;
        while($i < $chunk_size){
            $i++;
        }

        return 1;
}

我对 Perl 的多线程中的这种行为感到非常困惑。有谁知道这里可能出了什么问题？

谢谢！

Answer 1

您必须记住，当使用 ithreads（解释器线程）时，整个 Perl 解释器，包括代码和内存，都被克隆到新线程中。因此，要克隆的数据越多，所需的时间就越长。有一些方法可以控制克隆的内容；看看threads perldoc。

你应该尽可能少做，甚至在你产生线程之前不要加载很多模块。

如果您确实有大量数据将被所有线程使用，请将其与threads::shared 共享。然后共享数据结构使用shared_clone()。除了简单的变量之外，您不能简单地 share() 任何东西。该共享变量只能包含纯标量或其他共享引用。

如果您要使用或抽取该数据，请使用Thread::Queue 模块将其设为队列。它会自动共享值并负责锁定。生成工作线程池后，使用Thread::Semaphore 控制它们。这样他们就不会在你给他们做任何事情之前终止。您还可以防止竞争条件。

https://metacpan.org/pod/threads::shared

HTH

Answer 2

谢谢大家指点我相对的方向！我学习并尝试了不同的东西，包括如何使用共享和队列，这应该可以解决问题。于是我修改了脚本如下：

#!/bin/perl

use strict;
use threads;
use threads::shared;
use Thread::Queue;
use Benchmark qw(:hireswallclock);

my $starttime;
my $finishtime;
my $timespent;
my $num_of_threads = shift @ARGV;
my $total_size = 100000;
######Initiation of a 2D queue######
print "Preparing queue...\n";
$starttime = Benchmark->new;
my $queue = Thread::Queue->new();
for(my $i = 0; $i < $total_size; $i++){
        my $rn1 = rand();
        my $rn2 = rand();
        my @interval :shared = sort($rn1, $rn2);
        $queue->enqueue(\@interval);
}
$finishtime = Benchmark->new;
$timespent = timediff($finishtime, $starttime);
print "Used ".timestr($timespent)."\n";
#####################################
$starttime = Benchmark->new;
my $queue_copy = $queue; #Copy the 2D queue so that the original queue can be kept\
for(my $i = 0; $i < $num_of_threads; $i++) {
        my $thread = threads->create(\&search, $queue_copy);
}
foreach my $thread (threads->list()) {
        $thread->join();
}
$finishtime = Benchmark->new;
$timespent = timediff($finishtime, $starttime);
print "$num_of_threads threads used in ".timestr($timespent)."\nDone!\n";
#####################################
sub search{
        my $temp_queue = $_[0];
        while(my $temp_interval = $temp_queue->dequeue_nb()){
                #Do something
        }
        return 1;
}

我首先要做的是创建一个数组队列，每个数组包含两个数字。制作了队列的副本，因为我想在通过它时保留原始队列。然后使用多线程完成复制的队列。但是，我仍然发现添加更多线程时它运行得更慢，我不知道这是为什么。