【问题标题】:STDOUT and STDERR out of orderSTDOUT 和 STDERR 乱序
【发布时间】:2020-05-30 13:40:32
【问题描述】:

我有一个 perl 脚本,可以将消息写入 STDOUT 和 STDERR(通过 print/croak 语句),但我还将 STDOUT 和 STDERR 重定向到日志文件:

File::Tee::tee STDOUT, ">>", "$logFile" ;
File::Tee::tee STDERR, ">>", "$logFile" ;

现在输出日志文件中有来自 STDOUT 和 STDERR 的消息乱序显示。终端上的实际输出也有问题。我试过刷新缓冲区(这里推荐:https://perl.plover.com/FAQs/Buffering.html),但没有帮助:

select(STDERR) ;
$| = 1 ;
select(STDOUT) ;
$| = 1 ;

有谁知道我必须做什么才能按顺序查看输出(我也尝试过另外刷新与 $logfile 对应的文件句柄,但它仍然是一样的)?


编辑:

感谢所有回复的人。很多关于这个的讨论最终都在 cmets 中结束,所以我将根据你们所有人的反馈列出我尝试过的一些事情。

  1. 在使用 File::Tee 之前,我已经在刷新 STDOUT 和 STDERR。正如@jimtut 所怀疑的那样, File::Tee 确实是罪魁祸首——删除它恢复了控制台上的排序。但我确实想重定向 STDOUT 和 STDERR。
  2. @mob 建议改用 IO::Tee,但我还没有完全理解如何在我的代码中按照我想要的方式进行这项工作。
  3. @briandfoy 指出,没有可靠的方法来确保以正确的顺序实时查看 2 个单独的文件句柄,并且还建议使用日志记录例程,这是唯一可以写入 STDOUT/STDERR 的位置。 @zimd 进一步指出 File::Tee 使用 fork,这是问题的核心,因为 2 个进程不能保证输出的任何顺序。
  4. 由于 File::Tee 是罪魁祸首,我试图从代码中删除它。我更新了我的记录器功能以打印到 STDOUT/STDERR 以及另外打印到 $log 文件句柄。为了进一步捕获日志中的警告,我执行了以下操作:
sub warning_handler {
  my $msg = $_[0] ;
  print STDERR $msg ;
  print $log $msg if defined $log ;
}
$SIG{__WARN__} = \&warning_handler ;

这对我控制下的所有代码都很有效。现在在控制台和日志文件上都按顺序打印。但是我意识到我不能使用这个解决方案,因为我还调用了其他人的 perl 包以获得某些功能,并且显然我无法拦截在“现成”包中写入 STDOUT/STDERR 的 print/croak 等。所以现在,我没有一个好的解决方案。但是我怀疑如果我能找到在 perl 中拦截 STDOUT/STDERR 的方法,我可能能够得到我需要的东西。


编辑2: 我添加了自己的答案,这可能是我通过修改 mob 使用 IO::Tee 而不是 File::Tee 的解决方案来解决问题的最接近的方法,但即使这样也遗漏了一些消息(尽管它修复了排序)。


编辑3: 终于找到了“解决方案”

use IO::Tee ;
use Capture::Tiny qw(capture);
...
...
select(STDERR) ;
$| = 1 ;
select(STDOUT) ;
$| = 1 ;
open (my $log, ">", $logfilename) ;
*REALSTDOUT = *STDOUT ;
*REALSTDERR = *STDERR ;
*STDOUT = IO::Tee->new(\*REALSTDOUT, $log);
*STDERR = IO::Tee->new(\*REALSTDERR, $log);

# Regular Perl code here which sends output to STDOUT/STDERR
...
...
# system calls / calls to .so needs to be catpured 
&log_streams(sub { &some_func_which_calls_shared_object() ; }) ;

sub log_streams {
    my ($cr, @args) = @_;  # code reference, with its arguments
    my ($out, $err, $exit) = capture { $cr->(@args) };

    if ($out) {
        print STDOUT $out;
    }
    if ($err) {
        print STDERR $err;
    }
}

使用 IO::Tee 确保所有 perl 生成到控制台的输出也进入日志文件,这会立即发生,从而实时更新日志和控制台。由于 IO::Tee 正在将 STDOUT/STDERR 文件句柄的含义更改为现在引用 teed 句柄,它只能从 perl 语句中截取 stdio,它会错过 sys 调用,因为它们绕过了 perl 的 STDOUT/STDERR 句柄。所以我们捕获系统调用输出,然后使用 log_streams 例程将其转发到现在别名的 STDOUT/STDERR 流。这会在系统调用生成的输出中显示在日志/终端中产生延迟,但 perl 生成的输出没有延迟 - 即两全其美。请注意,调用子例程 some_func_which_calls_shared_object 生成的 stderr 和 stdout 的顺序没有保留,因为在 log_streams 例程中,我们首先打印到 STDOUT,然后打印到 STDERR - 只要系统调用是原子的并且在就交错标准输出/标准错误消息而言,我们应该没问题。 感谢 briandfoy、mob 和 zimd 的解决方案,我结合他们的答案得出了这个解决方案!从来没有想过对于一个看似非常简单的问题需要仔细研究这个细节。

【问题讨论】:

  • 如果你删除了tee的使用,只是打印到控制台,这样是否合适?我猜是的,tee 是罪魁祸首。
  • 确实 File::Tee::tee 是问题所在。删除它可以修复终端上的输出顺序。但我真的很想把它重定向到一个日志文件。
  • 如果您使用的是命令行 Perl 脚本(不是 CGI 脚本),请创建一个“包装”脚本(Shell 或 Batch,具体取决于您的平台。在该包装内,调用您的 Perl 脚本然后重定向 STDOUT 和 STDERR。它在 Linux 上看起来像这样,我相信它在 Windows 上几乎相同:myscript.pl >> logfile 2>>&1
  • 是的,我知道我可以在脚本之外重定向 .. 但这不是 bash/csh 包装器,它应该是一个直接的 perl 实用程序。
  • 您在致电tee之前有没有做过select(STDERR) ; $| = 1 ; select(STDOUT) ; $| = 1 ;?快速查看代码表明这应该可以工作。

标签: perl io buffering


【解决方案1】:

使用两个单独的文件句柄,没有合同或保证您会实时看到它们。各种设置和缓冲区会影响这一点,这就是为什么您会看到自动刷新的东西 ($|)。对于文件或终端也是同样的想法。

意识到这是一个架构问题,而不是句法问题。你有两个东西在争夺同一个资源。这通常以泪水告终。当我不知道问题出在哪里时,我会犹豫提出解决方案,但考虑让任何试图写信给STDOUT 或STDERR 的东西写给某种消息代理,它收集所有消息并且是唯一的事情写入最终(共享)目的地。例如,想要将条目添加到 syslog 的内容不会写入 syslog;他们将消息发送到写入系统日志的事物。

另一个 Perly 示例:在 Log4perl 中,您不会写入最终目的地。您只需记录一条消息,记录器就是弄清楚如何处理它的唯一方法。当我想对模块进行这种行为时,我不直接使用输出工具:

debug( "Some debug message" );

sub debug {
    my $message = shift;
    output( "DEBUG: $message" );
    }

sub output { # single thing that can output message
    ...
    }

然后在output 中做任何你需要做的事情。

但是,你不能总是在其他也试图输出的东西中控制它。 Perl 让您通过重新定义 warn 和朋友所做的事情来解决这个问题,方法是在 $SIG{__WARN__} 中放置一个 coderef。您可以捕获警告消息并对它们做任何您喜欢的事情(例如将它们发送到标准输出)。除此之外,黑魔法将STDERR 重新打开到您可以控制的东西上。还不错,而且被隔离在一个地方。

在某些时候,另一个人不希望合并输出,而侵入性解决方案使得无法将它们分开。我更喜欢灵活性而不是硬编码约束。如果我只想要错误,我想要一种方法来获取错误。还有许多其他类型的解决方法,例如收集输出流(因此,完全不是侵入性)和各种命令重定向的包装器。

【讨论】:

  • 评论不用于扩展讨论;这个对话是moved to chat。
  • @briandfoy 啊我的错.. 抱歉造成误解。难怪如果分叉,我的消息会出现故障!我将摆脱 File::Tee 并简单地将日志记录到我的 logger 子例程中的文件中。并且还将使用 $SIG{WARN} 处理程序将警告重定向到记录器例程。这应该可以解决所有问题。
【解决方案2】:

您将有两个文件句柄写入$logfile。除非File::Tee 在每次写入之前注意寻找文件句柄的末尾(它似乎没有),否则您将遇到一个文件句柄将覆盖另一个文件句柄的竞争条件。

一种解决方法是在File::Tee::tee 函数中使用reopen 选项——这将在每次写入后关闭文件并在下次写入前重新打开它(在文件的正确末尾)。不过,这可能会损害您的性能,具体取决于您写入这些文件句柄的频率。


IO::Tee 的实现可能比File::Tee 使用的(每个File::Tee::tee 调用的后台进程)更直接(使用绑定的文件句柄),因此您可能会遇到更少的意外。以下是IO::Tee 解决方案的外观:

use IO::Tee;
$| = 1;
open my $stdout, ">&=1";  # to write to original stdout
open my $stderr, ">&=2";  # to write to original stderr
open my $fh_log, ">>", $logfile;
*STDOUT = IO::Tee->new($stdout, $fh_log);
*STDERR = IO::Tee->new($stderr, $fh_log);
...

没有后台进程、额外线程或其他任何会导致竞争条件的因素。 STDOUT 和 STDERR 都会从同一个进程写入同一个日志文件句柄。

【讨论】:

  • 但这并不能解释为什么终端上的输出也是乱序的。当然它与 LOGFILE 文件句柄无关。
  • 我尝试使用 File::Tee 重新打开。它没有解决问题。
  • 那么,IO::Tee 的运气可能会更好。这是一个更直接的多路复用实现,我怀疑它的惊喜会更少。
  • 不确定如何使用 IO::Tee。据我了解 IO::Tee 为您提供了一对多的句柄多路复用 - 即您可以写入单个 $tee 句柄,它最终会写入多个句柄。我有点想要相反 - 我希望 STDOUT 和 STDERR 合并到一个 FILEHANDLE 中(同时保留控制台输出)
  • 我将在上面添加一个IO::Tee 解决方案。
【解决方案3】:

在从@mob 的回答中得到提示以使用 IO::Tie 而不是 File::Tee(因为后者使用 fork 导致 STDERR 与 STDOUT 乱序)后,我稍微修改了 mob 的原始解决方案并且它起作用了(几乎 -继续阅读):

use IO::Tee
...
...
open (my $log, ">", $logfilename) ;
*MYSTDOUT = *STDOUT ;
*MYSTDERR = *STDERR ;
*STDOUT = IO::Tee->new(\*MYSTDOUT, $log);
*STDERR = IO::Tee->new(\*MYSTDERR, $log);

这导致控制台和日志文件中的顺序正确(mob 使用 open 复制 STDOUT/STDERR 的原始解决方案不起作用 - 它导致日志文件中的顺序正确,但控制台上的顺序错误。使用typeglob 别名而不是 dup 出于某种奇怪的原因而起作用)。

但是,尽管这个解决方案听起来不错,但它错过了从我在日志文件中调用的包中打印一些消息(尽管它们会打印在控制台上)。我具有 File::Tee 的原始代码确实导致来自包的这些相同消息显示在日志文件中,因此某处发生了一些巫术。有问题的特定包是一个 .so 文件,因此我无法了解它如何准确地打印其消息。

编辑: 我猜 .so 文件与打印到 stdout/stderr 的外部系统命令一样好。由于它不通过 perl IO,因此 perl 中的 STDOUT/STDERR 类型团指向的句柄将不会反映从 perl 调用的外部程序的输出。 我想最好的解决方案是将此解决方案的组合用于来自 perl 代码中的消息,并使用 @zdim 指出的 Capture::Tiny::capture 来捕获和重定向来自系统调用/调用的消息通过swig 界面。

【讨论】:

    【解决方案4】:

    注意   第一部分是通过 tie-d 句柄完成的;第二部分的解决方案使用Capture::Tiny


    使用tie-d 句柄的方法的基本概念验证。

    通过将句柄打印到文件和STDOUT 流的(副本)来绑定句柄的包

    package DupePrints; 
    
    use warnings; 
    use strict; 
    use feature 'say'; 
    
    my $log = 't_tee_log.out'; 
    open my $fh_out, '>', $log or die $!;  # for logging
    
    # An independent copy of STDOUT (via dup2), for prints to terminal
    open my $stdout, '>&', STDOUT or die $!;
    
    sub TIEHANDLE { bless {} } 
    
    sub PRINT { 
        my $self = shift; 
    
        print $fh_out @_; 
        print $stdout @_;
    }
    
    1;
    

    使用它的程序

    use warnings;
    use strict;
    use feature 'say';
    
    use DupePrints;    
    $| = 1;
    tie *STDERR, 'DupePrints';
    tie *STDOUT, 'DupePrints';
    
    say "hi";
    
    warn "\t==> ohno";
    
    my $y;
    my $x = $y + 7;
    
    say "done";
    

    这将打印到终端和t_tee_log.out 文本

    你好 ==> ohno 在 main_DupePrints.pl 第 14 行。 在 main_DupePrints.pl 第 17 行使用未初始化值 $y 以及 (+)。 完毕

    请参阅 perltie 和 Tie::Handle 和 this post 以及相关示例,也许还有 this post

    记录到STDOUT 和STDERR 流文件(以及复制的打印输出)在主程序中可能是used 的其他模块中也有效。

    如果还要有“干净”的打印,但不会被记录,请复制主程序中的STDOUT 句柄,就像在模块中完成的那样,然后打印到那个。如果您需要以更有选择性和更复杂的方式使用它,请根据需要进行修改——就目前而言,它只是一个基本的演示。


    随着问题编辑中的澄清,这里是一种不同的方法:包装对Capture::Tiny 的调用,它捕获任何代码的所有输出,然后根据需要管理捕获的打印 p>

    use warnings;
    use strict;
    use feature qw(say state);
    
    use Capture::Tiny qw(capture);
    
    sub log_streams {
        my ($cr, @args) = @_;  # code reference, with its arguments
    
        # Initialize "state" variable, so it runs once and stays open over calls
        state $fh_log = do {
            open my $fh, '>', 'tee_log.txt' or die $!;
            $fh;
        };
    
        my ($out, $err, $exit) = capture { $cr->(@args) };
    
        if ($out) {
            print $fh_log $out;
            print         $out;
        }
        if ($err) {
            print $fh_log $err;
            print         $err;
        }
    }
    
    log_streams( sub { say "hi" } );
    log_streams( sub { warn "==> ohno" } );
    log_streams( sub { my $y; my $x = $y + 7; } );
    
    log_streams( sub { system('perl', '-wE', q(say "external perl one-liner")) } );
    
    log_streams( sub { say "done" } );
    

    所有这一切的缺点是 一切 需要通过该子运行。但话又说回来,这实际上是一件好事,即使有时不方便。

    state feature 用于“初始化”文件句柄,因为声明为state 的变量永远不会重新初始化;所以文件只在第一次调用时打开一次,并保持打开状态。

    这也是一个需要完成的演示。

    【讨论】:

    • 致读者:我已经仔细审查了这一点,但没有得到-1。如果有人这样做,我会很感激 cmets
    • @zimd 非常感谢您的回复。但是,我不确定我是否了解其中的任何工作原理。无论如何,我会阅读更多关于 tie'd 文件句柄的信息,因为我怀疑这会引导我找到解决方案
    • @backstreetover 哦,对不起,会添加一些评论。这确实是获得您想要的东西的一种方式。 (虽然发布的演示按原样工作,但应该按照文档填写。这应该不难。)
    • @backstreetover 添加了一个使用另一种方法的部分,它可以完成您在编辑中阐明的所有内容
    • @backstreetover "缺点是输出延迟" ---正确,此模块分批重定向。要在打印时正确打印,请使用IPC::Run(无论如何都要使用:)),例如this post。然后,您可以将它放在一个 sub 中,用于外部命令(可能具有未知的动态和打印),并将此帖子中的 sub 用于您自己的打印。可以使它成为一个不错的小模块(还有其他相关例程)。但我看到你已经制定了一个解决方案,这很棒:)
    猜你喜欢
    • 1970-01-01
    • 2011-04-18
    • 2018-10-31
    • 1970-01-01
    • 1970-01-01
    • 2014-07-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多