【问题标题】:How to get the associativity correct when parsing non-symmetric binary operators with PetitParser?使用 PetitParser 解析非对称二元运算符时如何获得正确的关联性?
【发布时间】:2018-03-19 12:08:18
【问题描述】:

我正在尝试使用 PetitParser 制作一个基本的数学解析器,但我无法使用非对称二元运算符(如减法或除法)获得正确的顺序。

我有这个小例子,它只能解析(非负)整数和- 二元运算符,并发出一个带有括号的相同解析表达式的字符串(以便我可以看到关联性):

import java.util.List;

import org.petitparser.parser.Parser;
import org.petitparser.parser.combinators.SettableParser;

import static org.petitparser.parser.primitive.CharacterParser.*;

public class App {
    public static void main(String[] args) {
        Parser number = digit().plus().flatten().trim();

        SettableParser term = SettableParser.undefined();
        term.set(number.seq(of('-').flatten().trim()).seq(term).map((List<String> values) -> {
            return String.format("(%s - %s)", values.get(0), values.get(2));
        }).or(number));

        Parser expression = term.end();

        System.out.println(expression.parse("1 - 2 - 3").<String>get());
    }
}

这会打印出(1 - (2 - 3)) - 尽管1 - 2 - 3 的正确关联性是((1 - 2) - 3)

现在,我明白我的语法是这样的:

number: [0-9]+
term: number '-' term
expression: number $

所以((1 - 2) - 3)term '-' number。但是当我尝试切换它们时:

        term.set(term.seq(of('-').flatten().trim()).seq(number).map((List<String> values) -> {
            return String.format("(%s - %s)", values.get(0), values.get(2));
        }).or(number));

我遇到了无休止的递归:

:runException in thread "main" java.lang.StackOverflowError
        at org.petitparser.parser.combinators.SequenceParser.parseOn(SequenceParser.java:22)
        at org.petitparser.parser.actions.ActionParser.parseOn(ActionParser.java:29)
        at org.petitparser.parser.combinators.ChoiceParser.parseOn(ChoiceParser.java:22)
        at org.petitparser.parser.combinators.DelegateParser.parseOn(DelegateParser.java:24)
        at org.petitparser.parser.combinators.SequenceParser.parseOn(SequenceParser.java:25)
        at org.petitparser.parser.actions.ActionParser.parseOn(ActionParser.java:29)
        at org.petitparser.parser.combinators.ChoiceParser.parseOn(ChoiceParser.java:22)
        at org.petitparser.parser.combinators.DelegateParser.parseOn(DelegateParser.java:24)
        at org.petitparser.parser.combinators.SequenceParser.parseOn(SequenceParser.java:25)
        at org.petitparser.parser.actions.ActionParser.parseOn(ActionParser.java:29)
        at org.petitparser.parser.combinators.ChoiceParser.parseOn(ChoiceParser.java:22)
        at org.petitparser.parser.combinators.DelegateParser.parseOn(DelegateParser.java:24)
        at org.petitparser.parser.combinators.SequenceParser.parseOn(SequenceParser.java:25)
        at org.petitparser.parser.actions.ActionParser.parseOn(ActionParser.java:29)
        at org.petitparser.parser.combinators.ChoiceParser.parseOn(ChoiceParser.java:22)
        at org.petitparser.parser.combinators.DelegateParser.parseOn(DelegateParser.java:24)
        at org.petitparser.parser.combinators.SequenceParser.parseOn(SequenceParser.java:25)
        at org.petitparser.parser.actions.ActionParser.parseOn(ActionParser.java:29)
        at org.petitparser.parser.combinators.ChoiceParser.parseOn(ChoiceParser.java:22)
        at org.petitparser.parser.combinators.DelegateParser.parseOn(DelegateParser.java:24)
        at org.petitparser.parser.combinators.SequenceParser.parseOn(SequenceParser.java:25)
        at org.petitparser.parser.actions.ActionParser.parseOn(ActionParser.java:29)
        ........

那么...如何以应该解析的方式解析表达式?

更新

根据@rici 的建议,我已将其更改为使用ExpressionBuilder

import java.util.List;

import org.petitparser.parser.Parser;
import org.petitparser.parser.combinators.SettableParser;
import org.petitparser.tools.ExpressionBuilder;

import static org.petitparser.parser.primitive.CharacterParser.*;

public class App {
    public static void main(String[] args) {
        Parser number = digit().plus().flatten().trim();

        SettableParser term = SettableParser.undefined();

        ExpressionBuilder builder = new ExpressionBuilder();
        builder.group().primitive(number);
        builder.group().left(of('-').trim(), (List<String> values) -> {
            return String.format("(%s - %s)", values.get(0), values.get(2));
        });

        term.set(builder.build());
        Parser expression = term.end();
        System.out.println(expression.parse("1 - 2 - 3"));
    }
}

通过使用left()right(),我可以选择二元运算符的结合性。

【问题讨论】:

    标签: java grammar petitparser


    【解决方案1】:

    自上而下的解析器无法处理左递归,并且您无法为没有左递归的左关联表达式语法编写 BNF 语法。那么该怎么办? (除了切换到自下而上的解析方法。)

    如果解析框架支持,一个简单的可能性是使用重复来解析一系列相似的运算符,使用如下语法:

    term: factor ( ('-' | '+') factor)*
    factor: number ( ( '*' | '/') number)*
    

    然后你可以将你喜欢的任何关联性应用到解析生成的列表中。

    这是编写简单调车场处理器的更通用解决方案的退化案例(简单,因为它不需要处理括号)。如果您希望能够在运行时定义新的运算符(具有优先级和关联性),您可能需要此解决方案。

    使用 PetitParser,最简单的解决方案可能是使用包含的 ExpressionBuilder。见https://github.com/petitparser/java-petitparser/blob/master/petitparser-core/src/main/java/org/petitparser/tools/ExpressionBuilder.java

    【讨论】:

    • 谢谢 - 使用 ExpressionBuilder 还可以更轻松地创建语法!
    猜你喜欢
    • 2012-06-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-05-29
    • 2016-07-19
    • 1970-01-01
    • 1970-01-01
    • 2014-06-18
    相关资源
    最近更新 更多