ANTLR 语法迁移工具

Question

假设我有以下简单语法（查询 DSL）：

grammar TestGrammar;

term : textTerm ;

textTerm : 'Text' '(' T_VALUE '=' STRING+ ')' ;

T_VALUE : 'value' ;
STRING : '"' .+? '"' ;

WS : [ \t\r\n]+ -> skip ;

然后在某个时候我决定需要更改文本术语格式，例如：

Text(value = "123") -> MyText(val = "123")

我应该如何迁移用户使用以前版本的语法生成的现有数据？

Answer 1

假设

让我们通过为'Text' 字符串引入标记TEXT 来简化您的语法。

grammar TestGrammar;

WS : [ \t\r\n]+ -> channel(HIDDEN);  // preserve the whitespaces characters!
T_VALUE : 'value';
STRING : '"' .+? '"';
TEXT : 'Text';

term
    : textTerm;
textTerm
    : TEXT '(' T_VALUE '=' STRING+ ')';

解决方案

现在我们将利用 ANTLRv4 工具构建的 AST 侦听器。这使我们能够遍历 AST 并使用 Lucas Trzesniewski 在 cmets 中提到的 TokenStreamRewriter 类执行令牌替换。

import org.antlr.v4.runtime.CommonTokenStream;
import org.antlr.v4.runtime.TokenStreamRewriter;

public class MigrationTask extends TestGrammarBaseListener {
    private TokenStreamRewriter rewriter;

    public MigrationTask(CommonTokenStream stream) {
        this.rewriter = new TokenStreamRewriter(stream);
    }

    @Override
    public void enterTextTerm(TestGrammarParser.TextTermContext ctx) {
        rewriter.replace(ctx.TEXT().getSymbol(), "MyText");
        rewriter.replace(ctx.T_VALUE().getSymbol(), "val");
    }

    public String getMigrationResult() {
        return rewriter.getText();
    }
}

因此，每当我们在 AST 的遍历过程中遇到令牌时，我们都会用给定的令牌替换它。

用法

现在我们可以在给定的ParseTree 上执行MigrationTask 并检索迁移结果：

(...)
CommonTokenStream tokens = new CommonTokenStream(lexer);
TestGrammarParser parser = new TestGrammarParser(tokens);
ParseTree tree = parser.term();
ParseTreeWalker walker = new ParseTreeWalker();
MigrationTask migrationTask = new MigrationTask(tokens);
walker.walk(migrationTask, tree);
String result = migrationTask.getMigrationResult(); // Here we retrive migration result !
(...)