ANTLR4：词法分析器命令中无法识别的常量值

Question

我正在学习如何使用“更多”词法分析器命令。我输入了 ANTLR 书第 281 页中显示的词法分析器语法：

lexer grammar Lexer_To_Test_More_Command ;

LQUOTE : '"'        -> more, mode(STR) ;

WS   : [ \t\r\n]+   -> skip ; 

mode STR ;

STRING : '"'    -> mode(DEFAULT_MODE) ;

TEXT : .        -> more ;

然后我创建了这个简单的解析器来使用词法分析器：

grammar Parser_To_Test_More_Command ;

import Lexer_To_Test_More_Command ;

test: STRING EOF ;

然后我打开一个 DOS 窗口并输入以下命令：

antlr4 Parser_To_Test_More_Command.g4

生成此警告消息：

警告（155）：Parser_To_Test_More_Command.g4:3:29：规则 LQUOTE 包含具有无法识别的常量值的词法分析器命令；词法分析器 解释器可能会产生不正确的输出

我在词法分析器或解析器中做错了吗？

Answer 1

组合语法（仅以grammar 开头的语法，而不是parser grammar 或lexer grammar）不能使用词法分析器模式。而不是使用import 功能¹，您应该像这样使用tokenVocab 功能：

Lexer_To_Test_More_Command.g4：

lexer grammar Lexer_To_Test_More_Command;

// lexer rules and modes here

Parser_To_Test_More_Command.g4：

parser grammar Parser_To_Test_More_Command;

options {
  tokenVocab = Lexer_To_Test_More_Command;
}

// parser rules here

¹我实际上建议在 ANTLR 中完全避免使用 import 语句。我上面描述的方法几乎总是可取的。