解释期间的 Antlr MismatchedSetException

Question

我是 Antlr 的新手，我已经使用 Antlr 3 定义了一个基本语法。语法编译，ANTLRWorks 生成 Parser 和 Lexer 代码没有任何问题。

语法如下：

grammar i;

@header {
package i;
}

module      : 'Module1'| 'Module2';
object      : 'I';
objectType  : 'Name';
filters         : EMPTY | 'WHERE' module;
table       : module object objectType;
STRING      : ('a'..'z'|'A'..'Z')+;
EMPTY           : ' ';

问题是，当我解释表 Parser 时，我得到了 MismatchedSetException。这是由于有 EMPTY。一旦我从语法中删除 EMPTY，解释就起作用了。我查看了 Antlr 网站和其他一些示例，空白空间是 ' '。我不知道该怎么办。我需要这个 EMPTY。

当它解释时，我得到以下异常：

Interpreting...
[11:02:14] problem matching token at 1:4 NoViableAltException(' '@[1:1: Tokens : ( T__4 | T__5 | T__6 | T__7 | T__8 | T__9 | T__10 | T__11 | T__12 | T__13 | T__14 | T__15 );])
[11:02:14] problem matching token at 1:9 NoViableAltException(' '@[1:1: Tokens : ( T__4 | T__5 | T__6 | T__7 | T__8 | T__9 | T__10 | T__11 | T__12 | T__13 | T__14 | T__15 );])

只要我将 EMPTY 更改为以下内容：

EMPTY : '';

代替：

EMPTY : ' ';

它实际上解释了它。但是，我收到以下异常：

Interpreting...
[10:57:23] problem matching token at 1:4 NoViableAltException(' '@[1:1: Tokens : ( T__4 | T__5 | T__6 | T__7 | T__8 | T__9 | T__10 | T__11 | T__12 | T__13 | T__14 | T__15 | T__16 );])
[10:57:23] problem matching token at 1:9 NoViableAltException(' '@[1:1: Tokens : ( T__4 | T__5 | T__6 | T__7 | T__8 | T__9 | T__10 | T__11 | T__12 | T__13 | T__14 | T__15 | T__16 );])

但是，ANLTWorks 仍会生成 Lexer 和 Parser 代码。

希望你能帮忙。

编辑：

grammar i;

@header {
package i;
}

select      : 'SELECT *' 'FROM' table filters';';
filters : EMPTY | 'WHERE' conditions;
conditions  : STRING operator value;
operator    : '=' | '!=';
true            : 'true';
value           : true;
STRING  : ('a'..'z'|'A'..'Z')+;
EMPTY           : ' ';

Answer 1

我仍然对用法有点不确定，但我认为当我们说“空输入”时我们在谈论同一件事。这是一个让球滚动起来的答案，从修改过的语法开始。

grammar i;

@header {
package i;
}

module      : 'Module1'| 'Module2';
object      : 'I';
objectType  : 'Name';
filters     : | 'WHERE' module;
table       : module object objectType filters;
STRING      : ('a'..'z'|'A'..'Z')+;
WS          : (' '|'\t'|'\f'|'\n'|'\r')+ {skip();}; //ignore whitespace

请注意，我在 table 规则的末尾添加了 filters 以解释我在说什么。

此语法像以前一样接受以下输入（以规则 table 开头）：

模块 1 的名称

它之所以有效，是因为 filters 匹配，即使文本 Name 后面没有任何内容：它使用第一个替代项匹配空输入。

语法也接受这个：

Module1 I 命名 WHERE Module2

filters 规则满足文本 WHERE Module2 匹配第二个选项（在语法中定义为 'WHERE' module）。

一种更简洁的方法是将filters 和table 更改为以下规则（当然要认识到我首先更改了table）。

filters     : 'WHERE' module; //no more '|' 
table       : module object objectType filters?; //added '?'

语法匹配与以前相同的输入，但术语更清晰一些：我们现在说“filters 是可选的，而不是说“table 和 filters 匹配空时需要filters” table 和 filters 在空时不匹配”。

在这种情况下，它等同于同一件事。空匹配 (foo: | etc;) 是完全有效的，但我在使用它时遇到的问题比匹配可选 (foo?) 规则时遇到的问题更多。

---

更新后更新。

我将退后一步，让我们脱离理论，进入实践。这是一个更新的语法、调用它的 Java 测试代码、测试输入和测试输出。请试一试。

语法 进行了更改以进行测试，但遵循与以前相同的想法。

grammar i;

@header {
 package i;
}


selects     : ( //test rule to allow processing multiple select calls. Don't worry about the details.
                {System.out.println(">>select");}
                select
                {System.out.println("<<select");}
               )+ 
            ; 

select      : 'SELECT *' 'FROM' table filters? ';'
              {System.out.println("\tFinished select.");}       //test output
            ;

module      : 'Module1'| 'Module2';
object      : 'I';
objectType  : 'Name';
filters     : 'WHERE' conditions
              {System.out.println("\tFinished filters.");}      //test output
            ;

table       : module object objectType
              {System.out.println("\tFinished table.");}        //test output
            ;

conditions  : STRING operator value
              {System.out.println("\tCondition test on " + $STRING.text);}
            ;
operator    : '=' | '!=';
true_       : 'true';       //changed so that Java code could be generated
value       : true_;
STRING      : ('a'..'z'|'A'..'Z')+;
WS          : (' '|'\t'|'\f'|'\n'|'\r')+ {skip();}; //ignore whitespace

TestiGrammar.java

package i;
import java.io.InputStream;

import org.antlr.runtime.ANTLRInputStream;
import org.antlr.runtime.CharStream;
import org.antlr.runtime.CommonTokenStream;

public class TestiGrammar {
  public static void main(String[] args) throws Exception {
    InputStream resource = TestiGrammar.class.getResourceAsStream("itest.txt");

    CharStream input = new ANTLRInputStream(resource);

    resource.close();

    iLexer lexer = new iLexer(input);
    CommonTokenStream tokens = new CommonTokenStream(lexer);

    iParser parser = new iParser(tokens);
    parser.selects();
  }
}

itest.txt测试输入文件

SELECT * FROM Module2 I Name;
SELECT * FROM Module2 I Name WHERE foobar = true; 
SELECT * FROM Module2 I Name WHERE dingdong != true;

测试输出

>>select
    Finished table.
    Finished select.
<<select
>>select
    Finished table.
    Condition test on foobar
    Finished filters.
    Finished select.
<<select
>>select
    Finished table.
    Condition test on dingdong
    Finished filters.
    Finished select.
<<select