JAVACC 如何为 1 个或多个传递令牌

Question

我最近开始学习 javacc 解析器。我被要求编写一个解析器，其中一个令牌将数字从 1 到多个，另一个令牌将数字从 2 到多个 因此，我想出了这样的事情：

TOKEN : {
<NUM1: <NUM> (<NUM>)* > //for one or more
<NUM2: (<NUM>)+> //for two or more
<NUM :(["0"-"9"])+>





 // and in the function
    void calc():
    {}
    {
     (
      (<NUM1>)+
     (<NUM2>)+
     )* <EOF>
    }

但是，即使我传递了一个没有数字的文本值，它也会成功传递。我在这做错了什么？

Answer 1

词法标记的 JavaCC 语法允许您在 () 范围内包含重复的元素，后跟以下之一：

? - zero or one time
* - zero or more times
+ - one or more times

在您的情况下，您需要两个令牌：

TOKEN: 
{
  <NUM2: ["0"-"9"] (["0"-"9"])+> // for two or more
  <NUM1:           (["0"-"9"])+> // for one or more
}

你的意思是：

• 名为 NUM1 的令牌匹配从 1 到无穷大的位数
• 名为 NUM2 的令牌匹配从两位到无穷大的位数

JavaCC 中的词法机制使用输入字符流中的一个字符并尝试识别一个标记。两个自动机如下：

词法分析器在两个自动机中同时处理两个标记。在没有更多进展之后，latest 找到的令牌被识别。如果 more the one 标记类型是可能的，那么声明的 first 将被识别。因此，NUM2 在 NUM1 之前声明。这意味着对于输入 1，令牌 NUM2 将不会被识别，因为它需要一个以上的数字。在这种情况下，NUM1 将是唯一一个与该输入匹配的令牌类型。对于输入12，两种令牌类型都将接受它，但NUM2 将被识别，因为它首先声明。这意味着如果您先订购它们NUM1，然后订购NUM2，您将永远不会收到NUM2 令牌，因为NUM1 将始终以最高优先级“获胜”。

要使用它们，您可以使用如下两个解析器函数：

void match_one_to_many_numbers() : {} { <NUM1> (" " <NUM1>)* <EOF> }
void match_two_to_many_numbers() : {} { <NUM2> (" " <NUM2>)* <EOF> }

你的意思是：

• function match_one_to_many_numbers 接受从 one 到 infinity 个令牌 NUM1，用空格分隔，然后输入流必须以 @987654342 结尾@系统令牌
• 函数match_two_to_many_numbers相同，只是来自令牌NUM2

因为这两个标记都接受无限数量的数字，所以如果没有不是数字的分隔符，您就不能拥有这些标记的序列。