ANTLR4。词法分析器没有吞下注释

Question

我有以下 Antlr4 语法：

grammar Smarty;

/*
 * Parser Rules
 */

parse: smartyBody
     ;

smartyBody: include
          | bodyText?
          ;

include: INCLUDE fileName CB
          ;

bodyText: BODY_TEXT
         ;

fileName: FILENAME
        ; 
/*
 * Lexer Rules
 */
COMMENT: '{*' .*? '*}'      -> skip;

INCLUDE: '{include' SPACE+ 'file='?;

BODY_TEXT: ANY_CHAR+;

CB: SPACE? '}';

FILENAME: '\'' FILE_NAME '\''
     |    '"' FILE_NAME '"';

SPACE: [ \t];
NEW_LINE:   [\r\n]+         -> skip;

fragment FILE_NAME: PATH_CHARACTERS+;
fragment PATH_CHARACTERS: ~[\u0000-\u001f"*:<>?\\/|\u007f-\uffff];
fragment ANY_CHAR: [ -~];

现在如果我尝试使用 cmets，它们会被传回而不是被吞掉。

传递给解析器的文本：{* {include file='xxxxx'} *} zzzzzzzz

如果我覆盖 EnterBodyText 并将文本字符串传递给解析器，则侦听器中的 Text 变量将获取包括 cmets 在内的原始文本。

internal partial class BaseListener : SmartyBaseListener
{
    public override void EnterBodyText( SmartyParser.BodyTextContext context )
    {
       var Text = context.BODY_TEXT().GetText();
       // Text gets: {* {include file='xxxxx'} *} zzzzzzzz
       // not just zzzzzzzz
    }
}

任何帮助表示赞赏。

Answer 1

ANTLR 的词法分析器会尽可能地匹配。所以输入{* {include file='xxxxx'} *} zzzzzzzz完全匹配BODY_TEXT。

解决此问题的一种方法是将 BODY_TEXT 改为解析器规则：

body_text: ANY_CHAR+;

...

COMMENT: '{*' .*? '*}' -> skip;

...

// No fragment anymore. And keep this as the last lexer rule!
ANY_CHAR: [ -~];