如何在 perl6 语法中缓存和使用缓存的正则表达式？

Question

我的代码在正则表达式插值上花费了大量时间。由于模式很少改变，我想缓存这些生成的正则表达式应该可以加快代码速度。但是我想不出一个正确的方法来缓存和使用缓存的正则表达式。

该代码用于解析一些算术表达式。由于允许用户定义新的运算符，解析器必须准备好将新的运算符添加到语法中。因此解析器使用一个表来记录这些新的运算符，并从表中动态生成正则表达式。

#! /usr/bin/env perl6

use v6.c;

# the parser may add new operators to this table on the fly.
my %operator-table = %(
    1 => $['"+"', '"-"'],
    2 => $['"*"', '"/"'],
    # ...
);

# original code, runnable but slow.
grammar Operator {
    token operator(Int $level) {
        <{%operator-table{$level}.join('|')}>
    }

    # ...
}

# usage:
say Operator.parse(
    '+',
    rule => 'operator',
    args => \(1)
);
# output:
# ｢+｣

这里有一些实验：

# try to cache the generated regexes but not work.
grammar CachedOperator {
    my %cache-table = %();

    method operator(Int $level) {
        if (! %cache-table{$level}) {
            %cache-table.append(
                $level => rx { <{%operator-table{$level}.join('|')}> }
            )
        }

        %cache-table{$level}
    }
}

# test:
say CachedOperator.parse(
    '+',
    rule => 'operator',
    args => \(1)
);
# output:
# Nil

# one more try
grammar CachedOperator_ {
    my %cache-table = %();

    token operator(Int $level) {
        <create-operator($level)>
    }

    method create-operator(Int $level) {
        if (! %cache-table{$level}) {
            %cache-table.append(
                $level => rx { <{%operator-table{$level}.join('|')}> }
            )
        }

        %cache-table{$level}    
    }
}

# test:
say CachedOperator_.parse(
    '+',
    rule => 'operator',
    args => \(1)
);
# compile error:
# P6opaque: no such attribute '$!pos' on type Match in a Regex when trying to get a value

Answer 1

以下内容并未直接回答您的问题，但可能会引起您的兴趣。

用户定义的操作符

以下代码在 P6 中声明了一个运算符：

sub prefix:<op> ($operand) { " $operand prefixed by op" }

现在可以使用 new 运算符了：

say op 42; # 42 prefixed by op

涵盖了广泛的运算符位置和参数，包括关联性和优先级的选择、分组的括号等。所以也许这是实现您正在实现的内容的合适方式。

虽然速度很慢，但可能已经足够快了。此外，作为拉里said in 2017 ...

我们知道解析器中的某些地方比它们应有的速度要慢，例如......各种词法分析器重新检查 Perl 6 程序中的各种字符，每个字符平均 5 或 6 次，这显然是深次优，我们知道如何解决它

...幸运的是Jonathan will work on the P6 grammar parser this year。

DSL 和俚语

即使您对使用主要语言声明用户定义运算符的能力不感兴趣，或者由于某种原因不能使用，也可能会感兴趣/使用使其工作的底层机制。以下是一些参考资料：

• Brian Duggan 的非正式 DSL 演示文稿（video、slides）。

• Mouq 2014 年的要点Slangs。

• Larry Wall 在Switching parsers and Slangs 时的猜测。