对基于 ANTLR 的树的语义分析访问者进行单元测试

Question

我正在开发一个小型编译器。在我使用过的过去编译器中，我只是忽略了单元测试，通过系统测试进行所有测试。它工作得相当好，但我觉得它总是远非完美。这一次我很想尝试以不同的方式制作东西。

现在特别关注语义分析阶段，我希望我的每个访问者都有一组相关的单元测试。但要做到这一点，我必须完成两件事中的一件。我要么：

1. 当我只想对与方法相关的访问者进行单元测试时，以这样一种方式构建我的语法，使我不必定义包、定义类等。一个例子是测试给定方法中没有定义重复的变量——理想情况下，我不需要知道这个方法在包内的类中。按照这条路径，我的 ANTLR 语法将能够解析诸如 void m() { int x = 1; int y = 2; int x = 3; } 之类的东西，尽管在现实世界中（对于最终用户）这不是允许的源代码，因为在我的语言中，方法必须始终 包含在始终包含在包中的类中；

2. 花时间了解 ANTLR 的细节以及如何在我的 junit-tests 中以编程方式创建节点。诸如

   之类的东西

   MethodNode method = new MethodNode(); method.setName("m"); method.addChildren(new VarDecl("x", new IntegerExpr("1"))); method.addChildren(new VarDecl("y", new IntegerExpr("2"))); method.addChildren(new VarDecl("x", new IntegerExpr("3")));

   如果 ANTLR 的 API 对这种目的“友好”，这可能是一个合适的解决方案。我查了一下，被节点构造函数中的一些血淋淋的细节吓到了（ProgramContext(ParserRuleContext parent, int invokingState)

3. 创建我自己的 AST，作为解析阶段的第一步，我将 ANTLR 的树转换为我的树。一方面这会有点麻烦，另一方面，完全控制树可以促进其他事情。

我只能假设这是编译器开发人员经常关注的问题。您如何处理这种特殊情况？

谢谢

Answer 1

我确实遇到了同样的问题（至少我希望如此，我承认我不太明白你对包中的包和类的了解是什么意思）并且由于我没有找到另一个解决方案，所以我自己创建了一个示例 - the full source can be found on GitHub.

项目中最重要的部分显然是访客：

public class MyVisitor extends DemoBaseVisitor<String> {
    @Override
    public String visitPlus(final DemoParser.PlusContext ctx) {
        return visit(ctx.left) + " PLUS " + visit(ctx.right);
    }

    @Override
    public String visitLiteralNumber(final DemoParser.LiteralNumberContext ctx) {
        return ctx.getText();
    }
}

我对该访客的任何测试：

public class MyVisitorTest {
    private final MyVisitor myVisitor = new MyVisitor();

    @Test
    public void visitPlus_joinsOperatorsWithWordPLUSAsSeparator() throws Exception {
        // setup
        final DemoParser.PlusContext plusNode = mock(DemoParser.PlusContext.class);
        plusNode.left = mockForVisitorResult(DemoParser.ExpressionContext.class, "2");
        plusNode.right = mockForVisitorResult(DemoParser.ExpressionContext.class, "4");

        // execution
        final String actual = myVisitor.visitPlus(plusNode);

        // evaluation
        assertEquals(actual, "2 PLUS 4");
    }

    private<T extends RuleContext> T mockForVisitorResult(final Class<T> nodeType, final String visitResult) {
        final T mock = mock(nodeType);
        when(mock.accept(myVisitor)).thenReturn(visitResult);
        return mock;
    }

    @Test
    public void visitLiteralNumber_returnsTextValueOfNumber() throws Exception {
        // setup
        final DemoParser.LiteralNumberContext literalNumberNode = mock(DemoParser.LiteralNumberContext.class);
        when(literalNumberNode.getText()).thenReturn("42");

        // execution
        final String actual = myVisitor.visitLiteralNumber(literalNumberNode);

        // evaluation
        assertEquals(actual, "42");
    }
}

此方法类似于您的解决方案 2：

花时间了解 ANTLR 的来龙去脉以及如何在我的 junit-tests 中以编程方式创建节点。

但是没有学习 ANTLR 的来龙去脉。相反，IO 只使用一个模拟框架 (Mockito) 来生成我认为合适的树节点，并模拟树节点的 accept 方法，这样我就可以模拟访问的孩子而不模拟访问者本身的任何内容。

Answer 2

一个典型的解决方案是创建您希望以特定方式运行的输入文件，然后通过语义分析器运行它们以验证它们确实以这种方式运行。