在 perl 脚本中添加更多功能

Question

在下面的 perl 脚本中，我用当前日期检查了我的文件夹名称（采用日期格式，如 11-08-31）。如果匹配，我会处理该文件夹。如果今天的日期没有文件夹，它还会检查前一天的文件夹。我已经在这里问过这类问题，但我需要在此处进行一些更改并添加新功能：

• 如果今天没有找到，脚本会检查上一个日期。但是我需要检查上一个日期是否已经被处理，这样我就不会再次处理它。那么，我需要为它创建一个列表吗？

• 此脚本仅检查前一个日期。如果我必须检查前两天的情况怎么办？谢谢你的帮助。希望你能理解我的疑惑。

更新：此 perl 脚本在检查当前日期和文件夹名称时自动运行。该文件夹是从其他服务器加载的tar文件夹。

所以，基本上我需要运行脚本，如果它与文件夹名称和当前日期匹配。

问题：有时，我曾经在第二天获取文件夹，而我的 perl 脚本仅检查当前日期。我得到的文件夹的名称是以前的日期（不是当前日期）。所以，我需要手动处理文件夹。我需要在我的 perl 脚本中自动化它

---

#!/usr/bin/perl
use strict;
use warnings;
use Cwd;
use DateTime;
use File::Copy;

# set to your desired time zone
my $today = DateTime->now( time_zone => "America/New_York" );
my $td = $today->strftime("%y-%m-%d");

# strongly recommended to do date math in the 'floating'/UTC zone
my $yesterday = $today->set_time_zone('floating')->subtract( days => 1);
my $yd = $yesterday->set_time_zone('America/New_York')->strftime("%y-%m-%d");

my $dir = shift or die "Provide path on command line. $!";

if ($dir eq '.') {
    $dir = cwd;
}
elsif ($dir !~ /^\//) {
    $dir = cwd() . "/$dir"; 
}

opendir my $dh, $dir or die $!;
my @dir = sort grep {-d and /$td/ || /$yd/} readdir $dh;
closedir $dh or die $!;
@dir or die "Found no date directories. $!";

my $dday = "$dir/$dir[-1]"; # is today unless today not found, then yesterday
my $fdir = '/some/example/path/';    
my @gzfiles = glob("$dday/*tar.gz");

foreach my $zf (@gzfiles) {  
    next if (($zf =~ /BMP/) || ($zf =~ /LG/) || ($zf =~ /MAP/) || ($zf =~ /STR/)); 
    print "$zf\n";
    copy($zf, $fdir) or die "Unable to copy. $!";
}

Answer 1

好吧，正如mugen kenichi 所建议的那样，另一种方法是使用 Storable。这种方式存储一个哈希，其中包含所有已处理的目录。然后当你运行你的程序时，它可以检查哈希值，看看它们是否已经被处理了。

您需要一个一次性脚本来设置已处理目录的哈希值。

#!/usr/bin/perl
use strict;
use warnings;
use Storable;

# This script to be run 1 time only. Sets up 'processed' directories hash.
# After this script is run, ready to run the daily script.

my $dir = '.'; # or what ever directory the date-directories are stored in

opendir my $dh, $dir or die "Opening failed for directory $dir $!";
my @dir = grep {-d && /^\d\d-\d\d-\d\d$/ && $_ le '11-04-21'} readdir $dh;
closedir $dh or die "Unable to close $dir $!";

my %processed = map {$_ => 1} @dir;

store \%processed, 'processed_dirs.dat';

然后，定期运行一个脚本来查找和处理您的日期目录。

#!/usr/bin/perl
use strict;
use warnings;
use File::Copy;
use Storable;

my $dir = shift or die "Provide path on command line. $!";

my $processed = retrieve('processed_dirs.dat'); # $processed is a hashref

opendir my $dh, $dir or die "Opening failed for directory $dir $!";
my @dir = grep {-d && /^\d\d-\d\d-\d\d$/ && !$processed->{$_} } readdir $dh;
closedir $dh or die "Unable to close $dir $!";
@dir or die "Found no unprocessed date directories";

my $fdir = '/some/example/path';

for my $date (@dir) {
    my $dday = "$dir/$date";
    my @gzfiles = glob("$dday/*tar.gz");

    foreach my $zf (@gzfiles) {  
        next if $zf =~ /BMP/ || $zf =~ /LG/ || $zf =~ /MAP/ || $zf =~ /STR/; 
        print "$zf\n";
        copy($zf, $fdir) or die "Unable to copy $zf to $fdir. $!";
    }
    $processed->{ $date } = 1;
}

store $processed, 'processed_dirs.dat';

Answer 2

如果您希望在应用单次运行后保留这些目录是否已处理的状态，您可以在每个目录中创建一个 .processed 文件，并在处理该目录之前检查该文件是否存在。

如果您只需要在脚本执行期间存储这些目录的状态（已处理或未处理），您可以使用带有目录名称的哈希键：

my %PROCESSED = ();

if ($processing_done) {
  %PROCESSED{$dirname} = 1;
} else {
  %PROCESSED{$dirname} = 0;
}

您可以通过从哈希中读取键值来检查每个目录是否已被处理：

if (%PROCESSED{$dirname} == 0) {
 ... do some processing
} else {
 ... this one is already done
}

Answer 3

此解决方案查找比最近处理的目录日期更新的所有尚未处理的目录。您第一次手动记录它，（在脚本运行之前）。该脚本将从那时起对其进行更新。

文件可以命名为my $last = 'dir_last.dat'; 我刚刚在命令行输入了一个文件，例如：

C:\Old_Data\perlp>echo 11-07-14 > dir_last.bat

C:\Old_Data\perlp>type dir_last.bat
11-07-14

C:\Old_Data\perlp>

假设最新的目录是11-07-14。在运行脚本之前，您必须自己找出这一点。

#!/usr/bin/perl
use strict;
use warnings;
use File::Copy;

my $dir = shift or die "Provide path on command line. $!";

my $last = 'dir_last.dat';

open my $fh, "<", $last or die "Unable to open $last $!";
chomp(my $last_proc = <$fh>);
close $fh or die "Unable to close $last $!";

opendir my $dh, $dir or die "Opening failed for directory $dir $!";
my @dir = sort grep {-d && /^\d\d-\d\d-\d\d$/ && $_ gt $last_proc} readdir $dh;
closedir $dh or die "Unable to close $dir $!";
@dir or die "Found no date directories after last update: $last_proc";

my $fdir = '/some/example/path';

for my $date (@dir) {
    my $dday = "$dir/$date";
    my @gzfiles = glob("$dday/*tar.gz");

    foreach my $zf (@gzfiles) {  
        next if $zf =~ /BMP/ || $zf =~ /LG/ || $zf =~ /MAP/ || $zf =~ /STR/; 
        print "$zf\n";
        copy($zf, $fdir) or die "Unable to copy $zf to $fdir. $!";
    }
}

open  $fh, ">", $last or die "Unable to open $last $!";
print $fh "$dir[-1]\n"; # record the newest date-directory as processed
close $fh or die "Unable to close $last $!";

请注意，我不像第一个脚本那样依赖 cwd。那里真的不需要，这里也不需要。 opendir、glob和copy都可以处理点（cwd）目录和相对路径。

标题包括use strict; 和use warnings; 行。它们的目的是提醒您代码中的错误（大多数 perl 脚本都应该使用它们，除非专家决定排除它们——我不知道是什么原因）。第一行告诉 unix 在哪里可以找到解释器 (perl)。