解析整个文件后，Flex 抛出“flex 扫描仪中的输入失败”？

Question

我正在尝试使用 Flex 和 Bison 在 C++ 中制作解析器。我只在提供错误文件进行解析的帖子中在线看到“flex 扫描仪中的输入失败”。但是在我的整个文件被正确解析后，我收到了这个错误。是否存在一些 flex 无法正确检测 EOF 的错误？以下是相关定义：

野牛 -

%union {
    char node;
    char gate;
    int index;
}

%token END;
%token <node> NODE;
%token <gate> GATE;
%token <index> INDEX;

%%

atpg:
    body END { cout << "Reading last line." << endl; };
body:
    assignments;
assignments:
    assignments assignment { cout << "Token: assignments - rec." << endl; }
    | assignment         { cout << "Token: assignments - first." << endl; };
assignment:
    outnode gatedec '(' nodelist ')'  {
        cout << "Token: assignment" << endl;
        g_gatelist[last_gate].setOutput(&g_nodelist[out_node]);
        for(int i : t_nodelist)
            g_gatelist[last_gate].addInput(&g_nodelist[i]);
        t_nodelist.clear();
        };
outnode:
    nodedec '='  {
        cout << "Token: outnode" << endl;
        out_node = last_node;
        };
nodedec:
    NODE INDEX  {
        num_nodes ++;
        if ($1 == 'i') input_nodes ++;
        if ($1 == 'o') output_nodes ++;

        new(&g_nodelist[$2]) Node($1, $2);
        last_node = $2;

        cout << g_nodelist[$2] << endl;
        };
gatedec:
    GATE INDEX  {
        num_gates ++;

        createGateFromName(&g_gatelist[$2], $1, $2);
        last_gate = $2;

        cout << "Gate: " << $1 << "-" << $2 << endl; 
        };
nodelist:
    nodedec nodelist { 
        cout << "Token: nodelist - rec" << endl;
        t_nodelist.push_back(last_node);
        }
    | nodedec {
        cout << "Token: nodelist - first" << endl;
        t_nodelist.push_back(last_node);
        };

弹性 -

%{
#include "gatelist.tab.h"
#define YY_DECL extern "C" int yylex()
%}

INDEX    [0-9]+
GATE     and|or|not
NODE     n|i|o

%%

{GATE}      { yylval.gate = yytext[0]; return GATE; }

{NODE}      { yylval.node = yytext[0]; return NODE; }

{INDEX}     { yylval.index = atoi(yytext); return INDEX; }

[\(\)=]     { return yytext[0]; }

end         { return END; }

.|\n ;/* ignore */
%%
;

输入 -

n3 = and1 ( i0 i1 i2 )
n4 = or2 ( i1 i2 )
n5 = not3 ( n4 )
n6 = and4 ( n5 n4 )
end

输出 -

Node(n-3 = 0)
Token: outnode
Gate: a-1
Node(i-0 = 0)
Node(i-1 = 0)
Node(i-2 = 0)
Token: nodelist - first
Token: nodelist - rec
Token: nodelist - rec
Token: assignment
Token: assignments - first.
Node(n-4 = 0)
Token: outnode
Gate: o-2
Node(i-1 = 0)
Node(i-2 = 0)
Token: nodelist - first
Token: nodelist - rec
Token: assignment
Token: assignments - rec.
Node(n-5 = 0)
Token: outnode
Gate: n-3
Node(n-4 = 0)
Token: nodelist - first
Token: assignment
Token: assignments - rec.
Node(n-6 = 0)
Token: outnode
Gate: a-4
Node(n-5 = 0)
Node(n-4 = 0)
Token: nodelist - first
Token: nodelist - rec
Token: assignment
Token: assignments - rec.
Reading last line.
input in flex scanner failed

Answer 1

Bison 始终通过添加与您提供的开始规则相匹配的目标规则和后跟文件结束指示符（令牌编号 0）来增强提供的语法，以便强制输入匹配完整的文件。如果您想使用自己的结束标记并在识别到解析时终止解析，则应在关联操作中使用 YYACCEPT 操作以使解析成功终止而无需读取更多标记。

当 flex 扫描器在尝试读取数据时收到读取错误时，就会发生您遇到的错误。文件结尾不是错误，I/O 错误相当少见。通常，此错误表示在报告文件结尾并且yyin 关闭（或设置为无效值）后尝试继续读取输入。一般来说，您应该避免在报告文件结束后读取令牌；虽然它通常可以工作，但它并没有得到完全支持，并且使用某些扫描仪选项会产生意想不到的结果。

---

作为一个附带问题，您通常会发现使用 bison 的内置 trace facility 比在整个代码中分散 printf 更容易。您最终会添加和删除 printf，这是一件令人讨厌的事情，而且它们永远不会像野牛踪迹那样为您提供完整的图片。