【问题标题】:ANTLR lexer mismatches tokensANTLR 词法分析器不匹配标记
【发布时间】:2010-04-09 06:18:24
【问题描述】:

我有一个简单的 ANTLR 语法,我已将其精简到最基本的部分来演示我遇到的这个问题。我正在使用 ANTLRworks 1.3.1。

grammar sample;

assignment  :  IDENT ':=' NUM ';' ;

IDENT       :  ('a'..'z')+ ;

NUM         :  ('0'..'9')+ ;

WS          :  (' '|'\n'|'\t'|'\r')+ {$channel=HIDDEN;} ;

显然,这个语句被语法所接受:

x := 99;

但这个也是:

x := @!$()()%99***;

ANTLRworks 解释器的输出:


(来源:barry at cs.sierracollege.edu)

我做错了什么?甚至 ANTLR 附带的其他示例语法(例如 CMinus 语法)也表现出这种行为。

【问题讨论】:

  • 我通过运行 "x := @!$()()%99***;" 得到以下错误消息针对您的示例:第 1:5 行在字符“@”处没有可行的替代方案 第 1:6 行在字符“!”处没有可行的替代方案...

标签: compiler-construction parsing antlr tokenize lexer


【解决方案1】:

如果您查看 ANTLRWorks IDE 的控制台,您会看到很多词法分析器错误。

在命令行上试试:

grammar Sample;

@members {
  public static void main(String[] args) throws Exception {
    ANTLRStringStream in = new ANTLRStringStream("x := @!$()()\%99***;");
    SampleLexer lexer = new SampleLexer(in);
    CommonTokenStream tokens = new CommonTokenStream(lexer);
    SampleParser parser = new SampleParser(tokens);
    parser.assignment();
  }
}

assignment  :  IDENT ':=' NUM ';' ;

IDENT       :  ('a'..'z')+ ;

NUM         :  ('0'..'9')+ ;

WS          :  (' '|'\n'|'\t'|'\r')+ {$channel=HIDDEN;} ;

然后:

// generate parser/lexer
java -cp antlr-3.2.jar org.antlr.Tool Sample.g

// compile
javac -cp antlr-3.2.jar *.java

// run Windows
java -cp .;antlr-3.2.jar SampleParser
// or run *nix/MacOS
java -cp .:antlr-3.2.jar SampleParser

将产生:

line 1:5 no viable alternative at character '@'
line 1:6 no viable alternative at character '!'
line 1:7 no viable alternative at character '$'
line 1:8 no viable alternative at character '('
line 1:9 no viable alternative at character ')'
line 1:10 no viable alternative at character '('
line 1:11 no viable alternative at character ')'
line 1:12 no viable alternative at character '%'
line 1:15 no viable alternative at character '*'
line 1:16 no viable alternative at character '*'
line 1:17 no viable alternative at character '*'

【讨论】:

  • 没错!!这就是我在评论中所说的!
  • @Wing,ANTLRWorks 也显示了这些错误,但随后在不同的屏幕中显示。
  • @Bart,是的。谢谢你的信息。但是后来我不明白为什么 Barry 看不到 antlr err msgs。他使用的是不同版本的 antlr 吗?
  • @Wing:不,他正在使用 ANTLRWorks(当然,它也使用“正常”的 ANTLR 版本)。而在 ANTLRWorks 中,这些错误信息在解释语法时并不直接可见。但巴里确实像我们一样得到它们。
  • @Bart,谢谢。我正在使用 eclipse 中的插件来编辑我的 .g 文件。这就是为什么我只在控制台看到错误消息的原因。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-07-20
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多