在 Perl 中解析不规则的文本文件

Question

我是 perl 编程的新手，想了解如何使用 perl 解析文本文件。 我有一个包含不规则格式的文本文件，我想将其解析为三个。

基本上，该文件包含类似于以下的文本：

;out;asoljefsaiouerfas'pozsirt'z
mysql_query("SELECT * FROM Table WHERE (value='true') OR (value2='true') OR (value3='true') ");
1234 434 3454

4if[9put[e]9sd=09q]024s-q]3-=04i
select ta.somefield, tc.somefield 
from TableA ta INNER JOIN TableC tc on tc.somefield=ta.somefield 
INNER JOIN TableB tb on tb.somefield=ta.somefield 
ORDER by tb.somefield
234 4536 234

列表继续使用这种格式。

所以我需要做的就是将其解析为三个。即最上面的那个，得到哈希检查。第二个是 mysql 查询，第三个是解析三个数字。出于某种原因，我不知道如何做到这一点。我使用 perl 中的 'open' 函数从文本文件中获取数据。然后我尝试对换行符使用“拆分”功能，但结果发现查询不在单行或模式中，所以我不能像我想的那样使用它。

Answer 1

假设：

1. 数据块之间会有一个空行。
2. 该空行将仅包含一个换行符。
3. 在这些块中，哈希检查将是顶部 single 行，三个数字将是底部 single 行。

考虑到这一点：

use strict;
use warnings;
use English qw<$RS $OS_ERROR>;

local $RS = "\n\n";

open( my $fh, '<', $path_to_file ) 
    or die "Could not open $path_to_file! - $OS_ERROR"
    ;
while ( <> ) { 
    chomp;
    my ( $hash_check_line
       , @inner_lines 
       )
       = split /\n/
       ;
    my @numbers = split /\D+/, pop @inner_lines;
    my $sql     = join( "\n", @inner_lines );

    ...
}

通过将 $RS（$/ 或 $INPUT_RECORD_SEPARATOR）更改为双换行符，我们改变了读取记录的方式。

这并不奇怪，但是在我使用 Perl 的这些年里，我不得不为记录分隔符制作一些非常有趣的字符串，但有时只需读取您想要读取的块即可。

Answer 2

哦，天哪。

我看到的算法是：

• 缓存第一行。
• 读取所有行，直到出现空行。
• “最后”行将是数字。
• 剩下的都是查询。

考虑到这一点，我提供以下代码：

open my $fh, '<', $path_to_file
    or die "Can't open $path_to_file: $!";
while (my ($checksum, $query, $numbers) = read_record($fh) ) {
    # do something with record
}
close $fh or warn "$!";

sub read_record {
    my $fh = shift;
    my @lines;
    LINE: while (my $line = <$fh>) {
        chomp $line;
        last LINE if $line eq q{}; # if empty, we're done with the record!
        push @lines, $line;        # store it :)
    }
    return unless @lines;          # if we didn't get anything, eof!
    my $checksum = shift @lines;   # first was checksum.
    my $numbers = pop @lines;      # last thing read was numbers.
    my $query = join ' ', @lines;  # everything else, query.
    return ($checksum, $query, $numbers);
}

当然要修改以适应边界条件。

Answer 3

以下似乎有效：

while ($file_content =~ /\s*^(.+?)^(.*?)^(\d+\s+\d+\s+\d+)$/smg) {
    my $checksum = $1;
    my $query = $2;
    my $numbers = $3;
    # do stuff
}

这里是对正则表达式的解释：

\s*                   # eat up empty lines
^(.+?)                # save the checksum line to group 1
^(.+?)                # save one or multiple query lines to group 2
^(\d+\s+\d+\s+\d+)$   # save number line to group 3

第一组总是只有一行，因为当遇到下一行时它是惰性的，正则表达式将尝试从第二组开始匹配。到那时，如果可以完成剩下的比赛，那么第二组将包含数字之前的所有后续行。