如何测试 yacc/lalr(1) 中的语法更改以实现向后兼容性？

Question

我们的脚本语言已经在使用，我们正在通过添加新功能等对其进行改进。

我的问题是；测试我们的 grammer（不是最终应用）的向后兼容性的最佳方法是什么？有谁知道为我们制作它的工具或方法吗？

最好的问候

Answer 1

测试一种语法是否接受与另一种相同的语言，或者接受更大的语言，即使不是不可能，也很困难。

作为工程师，我们经常被要求做不可能的事情。我们所做的是放宽要求，直到我们得到某种有用的答案。放宽要求的一种方法是允许工具在某些情况下说“不知道”。

我的公司基于解析器生成器构建解析器。我们经常处理庞大的语法（数千条规则）。我们一直在研究的机制之一是检测语法是否有歧义。这在理论上是不可能的，但不会改变我们获得答案的兴趣。

我们正在开发一种可以在很多情况下回答这个问题的工具。实际上，它的作用是询问任何非终结符是否模棱两可；应用于根语法规则，这直接询问语法是否有歧义。在所有非终结符上尝试它的原因是它们中的许多生成的子语言比完整语言更小，从而可以对其进行分析。它通过使用语法规则对非终结符的扩展进行广度优先搜索来确定这一点。在此搜索期间会发生几件事之一：

• 非终结符被证明是明确的
• 它被证明是模棱两可的，这意味着主要的语法规则是模棱两可的
• 搜索已用完我们愿意花费的时间。

通过记录搜索结果，并对所有语法规则进行多次迭代（使用称为“迭代深化”的搜索技术），我们通常可以发现歧义，和/或证明部分语法没有歧义。 （缓存终结符/非终结符 X 是否模棱两可的事实允许检查传递使用 X 的其他非终结符 Y，以有效地“更快”或“更深入”地搜索；这是国际象棋程序中转置表的旧技巧）。这个答案并不完美，但是当它识别出歧义时，确实有一个，而当它声称没有一个时，就没有一个。 这是一个很大的帮助。

在我看来，相同类型的搜索应该适用于询问一种语法是否接受另一种语法的超集，假设语法非常相似（例如，您通过“稍微”修改另一个语法）。 如果该非终结符是其孪生体的超集，则搜索必须检查语言共享的每个非终结符。同样，您得到的任何答案都不是完美的，但在提供兼容性方面可能会有很长的路要走。

正如@EJP 所指出的，我们知道如何做到这一点的唯一其他方法是运行大量的综合测试。