【问题标题】:Handling Grammar Ambiguity in ANTLR4在 ANTLR4 中处理语法歧义
【发布时间】:2017-04-05 02:01:40
【问题描述】:

我有一个应该解析以下 sn-p 的语法(例如):

vmthread programm_start
{
    CALL main
}

subcall main
{
    // Declarations
    DATAF i

    CALL i

    // Statements
    MOVEF_F 3 i
}

问题在于 CALL 语句之间的歧义。此操作码在 vmthread 部分(并且只有 CALL!)中有效,但在那些子调用部分中也是有效的。如果我用所有操作码和一个附加的 OC_CALL 令牌定义一个 OP_CODES 令牌,则词法分析器无法处理这种情况(显然)。

以下清单是我的语法的 sn-ps(第一个词法分析器,第二个解析器):

VMTHREAD
    : 'vmthread'
    ;

SUBCALL
    : 'subcall'
    ;

CURLY_OPEN
    : '{'
    ;

CURLY_CLOSE
    : '}'
    ;

OP_CODES
    : 'DATA8'
    | 'DATAF'
    | 'MOVE8_8'
    | 'MOVEF_F'
    | 'CALL'
    ;

OC_CALL
    : 'CALL'
    ;

lms
    : vmthread subcalls+
    ;

vmthread
    : VMTHREAD name = ID CURLY_OPEN vmthreadCall CURLY_CLOSE
    ;

vmthreadCall
    : oc = OC_CALL name = ID
    ;

subcalls
    : SUBCALL name = ID CURLY_OPEN ins = instruction* CURLY_CLOSE
    ;

//instruction+
instruction
    : oc = OP_CODES args = argumentList
    ;

argumentList
    : arguments+
    ;

arguments
    : INTEGER
    | NUMBER
    | TEXT
    | ID
    ;

为了继续我的工作,我已将 vmthreadCall 解析器规则中的 OC_CALL 令牌与 OP_CODES 令牌进行了切换。现在解决了这个问题,因为代码是自动生成的。但是用户可能会键入此代码,因此可能会出错。

是否有解决方案或者我应该将验证移到解析器中。在那里我可以很容易地确定 vmthread 部分中的语句是否只包含调用语句。

澄清一下:在 vmthread 中只允许调用 CALL。在子调用(可能不止一个)中,每个操作码都是允许的(CALL + 定义的每个其他操作码)。而且我不想区分那些不同的 CALL 语句。我知道这在上下文无关语法中是不可能的。我将在解析器中处理这个问题。我只想将 vmthread 限制为一个 CALL 语句并允许子调用中的所有语句(所有操作码)。希望这更清楚。

【问题讨论】:

  • 你的问题不清楚,因为你没有告诉我们意图规则,只是你产生了一个你认为符合意图的语法。两个子程序都允许“CALL”吗?您是否试图将 vmthread 中的 CALL 与子调用中的调用区分开来? (你不能在上下文无关语法中做到这一点 [如 ANTLR])。
  • @IraBaxter 我写了一些文本以进行澄清(两个子例程中都允许使用“CALL”,我不想区分不同的 CALL)。
  • 好的。你说 CALL 是模棱两可的。你有什么证据?
  • 不太确定模棱两可是否是正确的词。词法分析器中有两个 CALL 语句(OP_CODES 和 OC_CALL)。如果 OP_CODES 是词法分析器中的第一个标记,则它会被匹配,反之亦然。因此,在一种情况下,vmthread get 中的 CALL 语句与 OC_CALL 匹配,但子例程中的 CALL 语句不匹配,反之亦然。不太确定如何更改这些规则。
  • 我建议您将“DATA8”、“DATAF”……的标记分开,而不是将它们集中到单个词法规则中。然后,您的 grammar 可以指定允许哪些关键字而不会混淆。 (诡计多端:只需将 'CALL' 从 OP_CODES 中拉出,然后修复语法)。

标签: parsing antlr4


【解决方案1】:

像这样更改您的词法分析器规则:

OP_CODES
    : 'DATA8'
    | 'DATAF'
    | 'MOVE8_8'
    | 'MOVEF_F'
    | OP_CALL
    ;

OC_CALL
    : 'CALL'
    ;

或者这样:

OP_CODES
    : 'DATA8'
    | 'DATAF'
    | 'MOVE8_8'
    | 'MOVEF_F'
    | CALL
    ;

OC_CALL
    : CALL
    ;

fragment CALL: 'CALL';

顺便说一句,我建议您为文字创建明确的词法分析器规则(如 CALL 片段),这将使以后的处理更容易。 ANTLR 将通用名称分配给隐式创建的文字,这使得很难找出哪个标记属于哪个文字。

【讨论】:

  • 所以我应该为每个操作码创建词法分析器规则?到目前为止,我正在使用这样的解析器规则: oc = OP_CODES args = arguments 换行符以通过 oc 参数进行访问。显式词法分析器规则仍然是一种改进吗?
  • 是的,我会为每个文字创建一个词法分析器规则。然后,您可以稍后通过已知的枚举(从词法分析器规则名称派生)访问它们。这里的方式会给您一些自动生成的名称,您将很难找出哪个用于哪个文字。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-11-16
  • 2014-03-02
  • 2023-02-05
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多