如何在 C 中解决 typedef-name - 标识符问题？

Question

我最近一直在为基于 C 的语言编写解析器。我正在使用 CUP（Yacc for Java）。

我想实现“The lexer hack”（http://eli.thegreenplace.net/2011/05/02/the-context-sensitivity-of-c%E2%80%99s-grammar-revisited/ 或 https://en.wikipedia.org/wiki/The_lexer_hack），以区分 typedef 名称和变量/函数名称等。启用与前面声明的类型同名的声明变量（来自第一个链接的示例):

typedef int AA;

void foo() {
    AA aa;       /* OK - define variable aa of type AA */
    float AA;    /* OK - define variable AA of type float */
}

我们必须引入一些新的产品，其中变量/函数名称可以是IDENTIFIER 或TYPENAME。这就是困难发生的时刻——语法冲突。

我试图不为 gcc 3.4 (http://yaxx.googlecode.com/svn-history/r2/trunk/gcc-3.4.0/gcc/c-parse.y) 使用这个凌乱的 Yacc 语法，但这次我不知道如何自己解决冲突。我看了一下Yacc语法：

declarator:
    after_type_declarator
    | notype_declarator
    ;

after_type_declarator:
    ...
    | TYPENAME
    ;

notype_declarator:
    ...
    | IDENTIFIER
    ;

fndef:
    declspecs_ts setspecs declarator
    // some action code
    // the rest of production
...

setspecs: /* empty */
    // some action code

declspecs_ts 表示声明说明符，其中 “是否见过类型说明符；在类型说明符之后，typedef 名称是要重新声明的标识符（_ts 或 _nots）。”

从 declspecs_ts 我们可以到达

typespec_nonreserved_nonattr:
    TYPENAME
    ...
    ;

乍一看，我不敢相信 shift/reduce 冲突没有出现！ setspecs 是空的，所以我们有declspecs_ts 后跟declarator，因此我们可以预期解析器应该混淆TYPENAME 是来自declspecs_ts 还是来自declarator。

谁能简要（甚至准确地）解释一下。提前致谢！

编辑： 有用链接：http://www.gnu.org/software/bison/manual/bison.html#Semantic-Tokens

Answer 1

具体代码我不能说。

但基本技巧是 C 词法分析器检查每个 IDENTIFIER，并确定是否可能是 typedef 的名称。如果是这样，那么它将词位类型更改为 TYPEDEF 并将其交给解析器。

词法分析器如何知道哪些标识符是 typedef？解析器实际上必须通过在运行时捕获 typedef 信息来告诉它。在与声明相关的语法中的某处，必须有一个动作来提供此信息。我本来希望它被附加到 typedef 声明的语法规则中。

你没有展示“setspec”做了什么；也许就是这个地方。 LR解析器生成器使用的一个常见技巧是引入一个右手空的语法规则E（您的示例“setspec”？），在其他一些语法规则（您的示例“fndef”）中间调用只是为了启用在处理该规则的过程中访问语义操作。

如果你不能从其他标识符中区分 typedef，这整个技巧就是绕过解析歧义。如果您的解析器可以容忍歧义，那么您根本不需要这个 hack；只需解析，并使用两个（子）解析构建 AST。获取 AST 后，树遍历可以找到类型信息并消除不一致的子解析。我们使用 GLR 为 C 和 C++ 执行此操作，它很好地将解析与名称解析分开。