在 ANTLR 中创建强制令牌

Question

我刚刚进入 ANTLR。我正在尝试创建一个简单的 hello world ANTLR。我的目标是使“Hello world”成为强制性字符串。因此，我期望“Hello”的输入被认为是无效的，并且它给了我一个错误，说明它需要一个“世界”令牌。

编辑：请注意，我确实希望“hello”和“world”成为单独的标记（将它们视为关键字），以便我可以轻松地分别识别它们。

我有下面的helloworld.g4：

grammar helloworld;

WHITESPACE: [ \r\n\t]+ -> skip;
HELLO : 'Hello' ;
WORLD : 'world' ;

start : HELLO WORLD EOF ;

我有以下 main.go：

package main

import (
    "fmt"
    "test/parser"

    "github.com/antlr/antlr4/runtime/Go/antlr"
)

const rule = `Hello`

type testListener struct {
    *parser.BasehelloworldListener
}

func main() {
    // Setup the input
    is := antlr.NewInputStream(rule)

    // Create the Lexer
    lexer := parser.NewhelloworldLexer(is)
    // Read all tokens

    for {
        t := lexer.NextToken()
        if t.GetTokenType() == antlr.TokenEOF {
            break
        }
        fmt.Printf("%s (%q)\n",
            lexer.SymbolicNames[t.GetTokenType()],
            t.GetText())
    }

    // Finally parse the expression
    stream := antlr.NewCommonTokenStream(lexer,
        antlr.TokenDefaultChannel)

    // Create the Parser
    p := parser.NewhelloworldParser(stream)

    // Finally parse the expression
    antlr.ParseTreeWalkerDefault.Walk(&testListener{}, p.Start())
}

我正在构建一个 Go 解析器，并使用以下命令测试结果：

antlr -Dlanguage=Go -o parser helloworld.g4 && go run main.go

哪些输出：

HELLO ("Hello")
line 1:5 mismatched input '<EOF>' expecting 'Hello'

我想知道我可以做些什么来给我一个输出，说明“世界”是“你好”之后的预期标记。它不应该期待另一个“Hello”，它应该期待“world”，然后是一个 EOF。

Answer 1

在词法分析器中，您定义了 2 个单独的标记，因此词法分析器对输入 "Hello" 没有任何问题。

如果该 hello-token 应该始终跟在 "world" 之后，那么您必须在令牌中包含它：

HELLO : 'Hello' ' '+ 'world';

如果您调用解析器规则start，那将导致错误。这通常是强制存在WORLD 令牌（在解析器中）的方式，而不是在词法分析器中。

编辑

您正在使用所有标记，然后将这个“已使用的词法分析器”提供给解析器。跳过标记的打印，或在打印标记后重新初始化词法分析器。

应该这样做：

func main() {
    is := antlr.NewInputStream(`Hello`)

    lexer := parser.NewhelloworldLexer(is)

    stream := antlr.NewCommonTokenStream(lexer,
        antlr.TokenDefaultChannel)

    p := parser.NewhelloworldParser(stream)

    antlr.ParseTreeWalkerDefault.Walk(&testListener{}, p.Start())
}