ANTLR 语义谓词 - 不阻止规则

Question

我在使用 ANTLR 解析器规则的语义谓词时遇到了一些问题。这是我的语法，旨在识别几种不同的日期格式：

grammar sample ;

options { language=Python3; }

@parser::header {
from datetime import datetime
}

month_number returns [val] : INTEGER { 1    <= int($INTEGER.text) <= 12   }?  {$val = int($INTEGER.text)} ;
day_number   returns [val] : INTEGER { 1    <= int($INTEGER.text) <= 31   }?  {$val = int($INTEGER.text)} ;
year_4digit  returns [val] : INTEGER { 1900 <= int($INTEGER.text) <= 2100 }?  {$val = int($INTEGER.text)} ;

year_2digit  returns [val] : '\''? INTEGER {(int($INTEGER.text) >= 65 or int($INTEGER.text) < 40)}?
                                     {$val = (1900 + int($INTEGER.text)) if (int($INTEGER.text) >= 65) else (2000 + int($INTEGER.text))} ;

year_digits  returns [val]
  : year_4digit {$val = $year_4digit.val}
  | year_2digit {$val = $year_2digit.val}
  ;


mdy returns [val]
  : month_number '-' day_number '-' year_digits  {$val = datetime($year_digits.val, $month_number.val, $day_number.val)}
  | month_number '/' day_number '/' year_digits  {$val = datetime($year_digits.val, $month_number.val, $day_number.val)}
  ;

ymd returns [val]
  : year_4digit '-' month_number '-' day_number  {$val = datetime($year_4digit.val, $month_number.val, $day_number.val)}
  | year_4digit '/' month_number '/' day_number  {$val = datetime($year_4digit.val, $month_number.val, $day_number.val)}
  ;

date_as_numbers returns [val]
  : ymd {$val = $ymd.val}
  | mdy {$val = $mdy.val}
  ;

INTEGER: '0'..'9'+ ;

我使用以下程序对其进行测试：

from myPackage.sampleParser import sampleParser
from myPackage.sampleLexer import sampleLexer

from antlr4 import CommonTokenStream
from antlr4 import InputStream

date_input = InputStream("2/12/2017".lower())
lexer = sampleLexer(date_input)
stream = CommonTokenStream(lexer)
parser = sampleParser(stream)
result = parser.date_as_numbers()
print(result.val)

这会导致以下错误：

line 1:1 rule year_4digit failed predicate: { 1900 <= int($INTEGER.text) <= 2100 }?
line 1:9 rule day_number failed predicate: { 1    <= int($INTEGER.text) <= 31   }?
Traceback (most recent call last):
  File "/Users/kwilliams/Library/Preferences/IntelliJIdea2017.3/scratches/scratch_1.py", line 11, in <module>
    result = parser.date_as_numbers()
  File "/Users/kwilliams/git/myPackage/sampleParser.py", line 482, in date_as_numbers
    localctx._ymd = self.ymd()
  File "/Users/kwilliams/git/myPackage/sampleParser.py", line 436, in ymd
    localctx.val = datetime(localctx._year_4digit.val, localctx._month_number.val, localctx._day_number.val)
TypeError: an integer is required (got type NoneType)

所以我认为正在发生的事情是 year_4digit 中的谓词引发异常，因为数字 2 不在其范围内，但无论如何它返回一个 year_4digit 匹配，它还没有它的 @ 987654327@ 属性已填充，导致有关 NoneType 的下游错误。对吗？

如果是这样 - 什么是好的解决方案？我需要将语义谓词放在规则的前面吗？如果这是正确的解决方案，我将如何提前查看 INTEGER 令牌？

（另外 - 我希望能够使用 $INTEGER.int 而不是 int($INTEGER.text)，但这可能在 Python 目标中不可用？切线和小问题。）

顺便说一句，上面的语法是我真实语法的一小部分摘录，我希望有一个不需要对这部分进行重大更改的解决方案，可能会导致可能需要一段时间才能解决的连锁反应。

谢谢。

Answer 1

显然，谓词嵌套太深导致解析器无法回溯并尝试第二种选择：

date_as_numbers returns [val]
  : ymd {$val = $ymd.val} // alternaitve 1
  | mdy {$val = $mdy.val} // alternaitve 2
  ;

当我交换替代品时：

date_as_numbers returns [val]
  : mdy {$val = $mdy.val}
  | ymd {$val = $ymd.val}
  ;

输入 "2/12/2017" 被正确解析，但随后 "2017/12/2" 失败。

我不知道这是预期的行为，还是错误（我还没有对新的 v4 谓词做过很多事情）。你可以raise an issue 讨论这个。

玩了一会儿之后，我通过将规则合并到 1 个大 any_date 规则中，让这些规则从谓词开始，而不是在中间的某个地方有一个谓词（正如您自己已经暗示的那样）关于）：

grammar sample;

@parser::members {
  boolean lte(Token token, int value) {
    return Integer.parseInt(token.getText()) <= value;
  }
  boolean gte(Token token, int value) {
    return Integer.parseInt(token.getText()) >= value;
  }
}

date_as_numbers returns [String val]
  : any_date EOF {$val = $any_date.val;}
  ;

any_date returns [String val]
 : {gte(_input.LT(1), 1) && lte(_input.LT(1), 12)}?
   INTEGER '-' day_number '-' year_digits {$val = "y=" + $year_digits.val + ", m=" + $INTEGER.text + ", d=" + $day_number.val;}
 | {gte(_input.LT(1), 1) && lte(_input.LT(1), 12)}?
   INTEGER '/' day_number '/' year_digits {$val = "y=" + $year_digits.val + ", m=" + $INTEGER.text + ", d=" + $day_number.val;}
 | {gte(_input.LT(1), 1900) && lte(_input.LT(1), 2100)}?
   INTEGER '-' month_number '-' day_number {$val = "y=" + $INTEGER.text + ", m=" + $month_number.val + ", d=" + $day_number.val;}
 | {gte(_input.LT(1), 1900) && lte(_input.LT(1), 2100)}?
   INTEGER '/' month_number '/' day_number {$val = "y=" + $INTEGER.text + ", m=" + $month_number.val + ", d=" + $day_number.val;}
 ;

month_number returns [int val]
 : INTEGER {gte($INTEGER, 1) && lte($INTEGER, 12)}?
   {$val = Integer.parseInt($INTEGER.text);}
 ;

day_number returns [int val]
 : INTEGER {gte($INTEGER, 1) && lte($INTEGER, 31)}?
   {$val = Integer.parseInt($INTEGER.text);}
 ;

year_4digit returns [int val]
 : INTEGER {gte($INTEGER, 1900) && lte($INTEGER, 2100)}?
   {$val = Integer.parseInt($INTEGER.text);}
 ;

year_2digit returns [int val]
 : '\''? INTEGER {gte($INTEGER, 65) || lte($INTEGER, 39)}?
   {$val = Integer.parseInt($INTEGER.text) >= 65 ? 1900 + Integer.parseInt($INTEGER.text) : 2000 + Integer.parseInt($INTEGER.text);}
 ;

year_digits  returns [int val]
  : year_4digit {$val = $year_4digit.val;}
  | year_2digit {$val = $year_2digit.val;}
  ;

INTEGER: '0'..'9'+ ;

（对不起，没有蟒蛇）

运行此类时：

import org.antlr.v4.runtime.*;

public class Main {

  public static void main(String[] args) {

    String[] tests = { "2/12/2017", "2017/12/31", "1-2-'03" };

    for (String test : tests) {
      sampleLexer lexer = new sampleLexer(CharStreams.fromString(test));
      sampleParser parser = new sampleParser(new CommonTokenStream(lexer));
      System.out.println(test + " -> " + parser.date_as_numbers().val);
    }
  }
}

打印以下内容：

2/12/2017 -> y=2017, m=2, d=12
2017/12/31 -> y=2017, m=12, d=31
1-2-'03 -> y=2003, m=1, d=2

我知道，并不完美，但也许你可以稍微调整一下你当前的语法，让一些东西发挥作用。

编辑

当然，您也可以放弃谓词，改为执行以下操作：

grammar sample;

date_as_numbers
 : ymd
 | mdy
 | failure
 ;

ymd
 : year '/' month '/' day
 | year '-' month '-' day
 ;

mdy
 : month '/' day '/' year
 | month '-' day '-' year
 ;

year
 : '\''? year_2digits
 | NUM_4DIGITS
 ;

year_2digits
 : NUM_1_12
 | NUM_13_31
 | NUM_2DIGITS
 ;

month
 : NUM_1_12
 ;

day
 : NUM_1_12
 | NUM_13_31
 ;

failure
 : NUM_OTHER
 ;

NUM_1_12
 : [1-9]     // 1..9
 | '1' [0-2] // 10..12
 ;

NUM_13_31
 : '1' [3-9] // 13..19
 | '2' D     // 20..29
 | '3' [01]  // 30..31
 ;

NUM_2DIGITS
 : D D
 ;

NUM_4DIGITS
 : '19' D D // 1900..1999
 | '20' D D // 2000..2099
 | '2100'   // 2100
 ;

NUM_OTHER
 : D+
 ;

fragment D : [0-9];