【问题标题】:ANTLR: Is there a simple example?ANTLR:有一个简单的例子吗?
【发布时间】:2009-12-18 23:35:16
【问题描述】:

我想开始使用 ANTLR,但是在花了几个小时查看 antlr.org 站点上的示例之后,我仍然无法清楚地了解 Java 过程的语法。

有没有一些简单的例子,比如用 ANTLR 实现的四操作计算器,通过解析器定义一直到 Java 源代码?

【问题讨论】:

  • 我刚刚发布了关于 ANTLR 的视频教程的第一部分。请参阅javadude.com/articles/antlr3xtut希望对您有所帮助!
  • ANTLR 4 的最佳答案是购买 Parr 的书《The Definitive ANTLR 4 Reference》。

标签: java antlr antlr4 antlr3


【解决方案1】:

注意:此答案适用于ANTLR3!如果您正在寻找 ANTLR4 示例,那么此 Q&A 演示了如何使用 ANTLR4 创建简单的表达式解析器和求值器。


您首先创建一个语法。下面是一个小语法,您可以使用它来评估使用 4 个基本数学运算符构建的表达式:+、-、* 和 /。您还可以使用括号对表达式进行分组。

请注意,这个语法只是一个非常基本的语法:它不处理一元运算符(减号:-1+9)或像 .99 这样的小数(没有前导数字),仅举两个缺点。这只是一个您可以自己处理的示例。

这是语法文件Exp.g的内容:

grammar Exp;

/* This will be the entry point of our parser. */
eval
    :    additionExp
    ;

/* Addition and subtraction have the lowest precedence. */
additionExp
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

/* Multiplication and division have a higher precedence. */
multiplyExp
    :    atomExp
         ( '*' atomExp 
         | '/' atomExp
         )* 
    ;

/* An expression atom is the smallest part of an expression: a number. Or 
   when we encounter parenthesis, we're making a recursive call back to the
   rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
    :    Number
    |    '(' additionExp ')'
    ;

/* A number: can be an integer value, or a decimal value */
Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

/* We're going to ignore all white space characters */
WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

(解析器规则以小写字母开头,词法分析器规则以大写字母开头)

创建语法后,您需要从中生成解析器和词法分析器。下载 ANTLR jar 并将其存储在与语法文件相同的目录中。

在您的 shell/命令提示符下执行以下命令:

java -cp antlr-3.2.jar org.antlr.Tool Exp.g

它应该不会产生任何错误消息,并且现在应该生成文件 ExpLexer.javaExpParser.javaExp.tokens .

要查看它是否正常工作,请创建这个测试类:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        parser.eval();
    }
}

并编译它:

// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java

// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java

然后运行它:

// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo

// Windows
java -cp .;antlr-3.2.jar ANTLRDemo

如果一切顺利,控制台不会打印任何内容。这意味着解析器没有发现任何错误。将"12*(5-6)"改成"12*(5-6"重新编译运行,应该会打印出如下内容:

line 0:-1 mismatched input '<EOF>' expecting ')'

好的,现在我们想在语法中添加一些 Java 代码,以便解析器真正做一些有用的事情。添加代码可以通过将 {} 放在语法中并在其中添加一些纯 Java 代码来完成。

但首先:语法文件中的所有解析器规则都应该返回一个原始双精度值。您可以通过在每条规则后添加 returns [double value] 来做到这一点:

grammar Exp;

eval returns [double value]
    :    additionExp
    ;

additionExp returns [double value]
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

// ...

几乎不需要解释:每个规则都应该返回一个双精度值。现在要从代码块内与返回值double value(不在纯Java代码块{...}内)“交互”,您需要在value前面添加一个美元符号:

grammar Exp;

/* This will be the entry point of our parser. */
eval returns [double value]                                                  
    :    additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
    ;

// ...

这是语法,但现在添加了 Java 代码:

grammar Exp;

eval returns [double value]
    :    exp=additionExp {$value = $exp.value;}
    ;

additionExp returns [double value]
    :    m1=multiplyExp       {$value =  $m1.value;} 
         ( '+' m2=multiplyExp {$value += $m2.value;} 
         | '-' m2=multiplyExp {$value -= $m2.value;}
         )* 
    ;

multiplyExp returns [double value]
    :    a1=atomExp       {$value =  $a1.value;}
         ( '*' a2=atomExp {$value *= $a2.value;} 
         | '/' a2=atomExp {$value /= $a2.value;}
         )* 
    ;

atomExp returns [double value]
    :    n=Number                {$value = Double.parseDouble($n.text);}
    |    '(' exp=additionExp ')' {$value = $exp.value;}
    ;

Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

由于我们的 eval 规则现在返回一个双精度数,请将您的 ANTLRDemo.java 更改为:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        System.out.println(parser.eval()); // print the value
    }
}

再次(重新)从您的语法中生成新的词法分析器和解析器 (1),编译所有类 (2) 并运行 ANTLRDemo (3):

// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .:antlr-3.2.jar ANTLRDemo            // 3

// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .;antlr-3.2.jar ANTLRDemo            // 3

现在您将看到表达式12*(5-6) 的结果打印到您的控制台!

再次:这是一个非常简短的解释。我鼓励您浏览ANTLR wiki 并阅读一些教程和/或玩一下我刚刚发布的内容。

祝你好运!

编辑:

This post 展示了如何扩展上面的示例,以便可以提供一个 Map&lt;String, Double&gt; 来保存所提供表达式中的变量。

为了让这段代码与当前版本的 Antlr(2014 年 6 月)一起工作,我需要进行一些更改。 ANTLRStringStream需要变为ANTLRInputStream,返回值需要从parser.eval()变为parser.eval().value,并且我需要去掉最后的WS子句,因为$channel等属性值不再存在允许出现在词法分析器操作中。

【讨论】:

  • parser.eval() 的实现在哪里发生?这在此处或 ANTLR3 Wiki 上并不清楚!
  • @Jarrod,错误,对不起,我不太了解你。 eval 是一个解析器规则,它返回一个 double。所以有一个eval() 方法可以调用ExpParser 的实例,正如我在ANTLRDemo.main(...) 中演示的那样。生成词法分析器/解析器后,只需打开文件ExpParser.java,您会看到有一个eval() 方法返回double
  • @Bart 我已经研究了一周——这是第一个实际详细和完整的示例,足以在第一次工作时使用,并且我认为我理解。我几乎放弃了。谢谢!
【解决方案2】:

Gabriele Tomassetti 的ANTLR mega tutorial 非常有帮助

它有语法示例、不同语言(Java、JavaScript、C# 和 Python)的访问者示例以及许多其他内容。强烈推荐。

编辑:Gabriele Tomassetti 在 ANTLR 上的其他有用文章

【讨论】:

  • 很棒的教程!
  • Antlr 现在也将 cpp 作为目标语言。是否有任何关于 cpp 的示例教程?
  • 同一个人用 C++ 编写了一个 ANTLR 教程 tomassetti.me/getting-started-antlr-cpp 我猜你会在这里或巨型教程中找到你想要的东西
【解决方案3】:

对于 Antlr 4,java 代码生成过程如下:-

java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool Exp.g

相应地在类路径中更新您的 jar 名称。

【讨论】:

    【解决方案4】:

    4.7.1 版略有不同: 进口:

    import org.antlr.v4.runtime.*;
    

    对于主要部分 - 注意 CharStreams:

    CharStream in = CharStreams.fromString("12*(5-6)");
    ExpLexer lexer = new ExpLexer(in);
    CommonTokenStream tokens = new CommonTokenStream(lexer);
    ExpParser parser = new ExpParser(tokens);
    

    【讨论】:

      【解决方案5】:

      https://github.com/BITPlan/com.bitplan.antlr,您会找到一个 ANTLR java 库,其中包含一些有用的帮助类和一些完整的示例。它已经准备好与 maven 一起使用,如果你喜欢 eclipse 和 maven。

      https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/exp/Exp.g4

      是一种简单的表达式语言,可以进行乘法和加法运算。 https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestExpParser.java 有相应的单元测试。

      https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/iri/IRIParser.g4 是一个 IRI 解析器,已拆分为三个部分:

      1. 解析器语法
      2. 词法分析器语法
      3. 导入的 LexBasic 语法

      https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIRIParser.java 有它的单元测试。

      就我个人而言,我发现这是最棘手的部分。见http://wiki.bitplan.com/index.php/ANTLR_maven_plugin

      https://github.com/BITPlan/com.bitplan.antlr/tree/master/src/main/antlr4/com/bitplan/expr

      包含另外三个针对早期版本中的 ANTLR4 性能问题创建的示例。与此同时,正如测试用例 https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIssue994.java 所示,此问题已得到修复。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2017-12-28
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多