假设您要解析由以下标记组成的简单表达式:
-
- 减法(也是一元的);
-
+加;
-
* 乘法;
-
/师;
-
(...) 分组(子)表达式;
- 整数和十进制数。
ANTLR 语法可能如下所示:
grammar Expression;
options {
language=CSharp2;
}
parse
: exp EOF
;
exp
: addExp
;
addExp
: mulExp (('+' | '-') mulExp)*
;
mulExp
: unaryExp (('*' | '/') unaryExp)*
;
unaryExp
: '-' atom
| atom
;
atom
: Number
| '(' exp ')'
;
Number
: ('0'..'9')+ ('.' ('0'..'9')+)?
;
现在要创建正确的 AST,您在 options { ... } 部分添加 output=AST;,并在语法中混合一些“树运算符”来定义哪些标记应该是树的根。有两种方法可以做到这一点:
- 在您的令牌后添加
^ 和!。 ^ 使令牌成为根,! 将令牌从 ast 中排除;
- 通过使用“重写规则”:
... -> ^(Root Child Child ...)。
以规则foo为例:
foo
: TokenA TokenB TokenC TokenD
;
假设您希望 TokenB 成为根,TokenA 和 TokenC 成为其子级,并且您希望从树中排除 TokenD。以下是使用选项 1 的方法:
foo
: TokenA TokenB^ TokenC TokenD!
;
下面是使用选项 2 的方法:
foo
: TokenA TokenB TokenC TokenD -> ^(TokenB TokenA TokenC)
;
所以,下面是包含树运算符的语法:
grammar Expression;
options {
language=CSharp2;
output=AST;
}
tokens {
ROOT;
UNARY_MIN;
}
@parser::namespace { Demo.Antlr }
@lexer::namespace { Demo.Antlr }
parse
: exp EOF -> ^(ROOT exp)
;
exp
: addExp
;
addExp
: mulExp (('+' | '-')^ mulExp)*
;
mulExp
: unaryExp (('*' | '/')^ unaryExp)*
;
unaryExp
: '-' atom -> ^(UNARY_MIN atom)
| atom
;
atom
: Number
| '(' exp ')' -> exp
;
Number
: ('0'..'9')+ ('.' ('0'..'9')+)?
;
Space
: (' ' | '\t' | '\r' | '\n'){Skip();}
;
我还添加了Space 规则以忽略源文件中的任何空格,并为词法分析器和解析器添加了一些额外的标记和命名空间。请注意,顺序很重要(首先是options { ... },然后是tokens { ... },最后是@... {}-namespace 声明)。
就是这样。
现在从您的语法文件生成词法分析器和解析器:
java -cp antlr-3.2.jar org.antlr.Tool Expression.g
并将.cs 文件与C# runtime DLL's 放在您的项目中。
您可以使用以下类对其进行测试:
using System;
using Antlr.Runtime;
using Antlr.Runtime.Tree;
using Antlr.StringTemplate;
namespace Demo.Antlr
{
class MainClass
{
public static void Preorder(ITree Tree, int Depth)
{
if(Tree == null)
{
return;
}
for (int i = 0; i < Depth; i++)
{
Console.Write(" ");
}
Console.WriteLine(Tree);
Preorder(Tree.GetChild(0), Depth + 1);
Preorder(Tree.GetChild(1), Depth + 1);
}
public static void Main (string[] args)
{
ANTLRStringStream Input = new ANTLRStringStream("(12.5 + 56 / -7) * 0.5");
ExpressionLexer Lexer = new ExpressionLexer(Input);
CommonTokenStream Tokens = new CommonTokenStream(Lexer);
ExpressionParser Parser = new ExpressionParser(Tokens);
ExpressionParser.parse_return ParseReturn = Parser.parse();
CommonTree Tree = (CommonTree)ParseReturn.Tree;
Preorder(Tree, 0);
}
}
}
产生以下输出:
根
*
+
12.5
/
56
UNARY_MIN
7
0.5
对应于以下AST:
(使用graph.gafol.net 创建的图表)
请注意,ANTLR 3.3 刚刚发布,CSharp 目标处于“测试阶段”。这就是我在示例中使用 ANTLR 3.2 的原因。
对于相当简单的语言(如我上面的示例),您还可以在不创建 AST 的情况下即时评估结果。您可以通过在语法文件中嵌入纯 C# 代码并让解析器规则返回特定值来做到这一点。
这是一个例子:
grammar Expression;
options {
language=CSharp2;
}
@parser::namespace { Demo.Antlr }
@lexer::namespace { Demo.Antlr }
parse returns [double value]
: exp EOF {$value = $exp.value;}
;
exp returns [double value]
: addExp {$value = $addExp.value;}
;
addExp returns [double value]
: a=mulExp {$value = $a.value;}
( '+' b=mulExp {$value += $b.value;}
| '-' b=mulExp {$value -= $b.value;}
)*
;
mulExp returns [double value]
: a=unaryExp {$value = $a.value;}
( '*' b=unaryExp {$value *= $b.value;}
| '/' b=unaryExp {$value /= $b.value;}
)*
;
unaryExp returns [double value]
: '-' atom {$value = -1.0 * $atom.value;}
| atom {$value = $atom.value;}
;
atom returns [double value]
: Number {$value = Double.Parse($Number.Text, CultureInfo.InvariantCulture);}
| '(' exp ')' {$value = $exp.value;}
;
Number
: ('0'..'9')+ ('.' ('0'..'9')+)?
;
Space
: (' ' | '\t' | '\r' | '\n'){Skip();}
;
可以用类测试:
using System;
using Antlr.Runtime;
using Antlr.Runtime.Tree;
using Antlr.StringTemplate;
namespace Demo.Antlr
{
class MainClass
{
public static void Main (string[] args)
{
string expression = "(12.5 + 56 / -7) * 0.5";
ANTLRStringStream Input = new ANTLRStringStream(expression);
ExpressionLexer Lexer = new ExpressionLexer(Input);
CommonTokenStream Tokens = new CommonTokenStream(Lexer);
ExpressionParser Parser = new ExpressionParser(Tokens);
Console.WriteLine(expression + " = " + Parser.parse());
}
}
}
并产生以下输出:
(12.5 + 56 / -7) * 0.5 = 2.25
编辑
在 cmets 中,Ralph 写道:
给使用 Visual Studio 的用户的提示:您可以在预构建事件中添加类似 java -cp "$(ProjectDir)antlr-3.2.jar" org.antlr.Tool "$(ProjectDir)Expression.g" 的内容,然后您可以修改语法并运行项目,而不必担心重新构建词法分析器/解析器。