我将如何使用 antlr 解析带有空格的标签？

Question

我有以下语法。

meta 
    : '<' NAME '>' TEXT '</' NAME '>'
    | '<' NAME S* attribute* '>';

dl : '<' NAME '><' TEXT '>' dt* '</' NAME '><' TEXT '>';

dt : '<' NAME '><' NAME S* attribute* S* '>' TEXT '</' NAME '>';

attribute : attributeName '=' attributeValue;

attributeName : NAME;

attributeValue : VAL;

NAME : [A-Z0-9_-]+;

VAL : '"'.*?'"';

TEXT : [A-Za-z0-9:\/\.@\-;\s*]+;

S : [ \t\r\n]+ -> skip;

字符串是

<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=UTF-8">
<TITLE>Abcd</TITLE>
<H1>Abcd</H1>
<DL><p>
    <DT><H3 ADD_DATE="1481473849" LAST_MODIFIED="1481473992" PERSONAL_XYZ_FOLDER="true">Foo bar</H3>
</DL><p>

我收到以下错误：

ParseError extraneous input 'bar' expecting '</'  clj-antlr.common/parse-error (common.clj:146)

问题是空格被跳过，所以当Foo bar 有空格时，它会给出错误。但是，如果我没有跳过空格，我会在 META 解析中遇到另一个错误。 （跳过空格时不需要S*）。

ParseError extraneous input ' ' expecting {'>', NAME}
mismatched input '>' expecting '><'
mismatched input '<' expecting {<EOF>, COMMENT, S}  clj-antlr.common/parse-error (common.clj:146)

这是我的 antlr 生成的令牌文件：

T__0=1
T__1=2
T__2=3
T__3=4
T__4=5
DTD=6
COMMENT=7
NAME=8
VAL=9
TEXT=10
S=11
'<'=1
'>'=2
'</'=3
'><'=4
'='=5

当我使用grun 运行时，我得到以下信息，但在报告的令牌中没有看到任何错误。它类似于我定义的语法。如何接受标签值中的空格？

$ grun MyGrammer r -tokens
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=UTF-8">
[@0,0:0='<',<1>,1:0]
[@1,1:4='META',<8>,1:1]
[@2,5:5=' ',<11>,1:5]
[@3,6:15='HTTP-EQUIV',<8>,1:6]
[@4,16:16='=',<5>,1:16]
[@5,17:30='"Content-Type"',<9>,1:17]
[@6,31:31=' ',<11>,1:31]
[@7,32:38='CONTENT',<8>,1:32]
[@8,39:39='=',<5>,1:39]
[@9,40:65='"text/html; charset=UTF-8"',<9>,1:40]
[@10,66:66='>',<2>,1:66]
[@11,67:67='\n',<11>,1:67]
[@12,68:67='<EOF>',<-1>,2:0]
No method for rule r or it has arguments

谢谢。

Answer 1

如果您在foo 和bar 之间放置一个空格，词法分析器将其生成为两个标记（TEXT 类型），但语法规定只允许一个名称标记。要解决您的问题，您只需通过 plus-operator 允许在 seqnece 中包含一些 TEXT：

dt : '<' NAME '><' NAME S* attribute* S* '>' TEXT+ '</' NAME '>';

另外请注意，您可能会遇到问题，因为 Lexer 会在 NAME 而不是 TEXT 中转换相当多的输入，因为它们都可以匹配模式 [A-Z0-9]+