【问题标题】:Providing a type system for the parser/lexer specification?为解析器/词法分析器规范提供类型系统?
【发布时间】:2020-11-14 02:46:45
【问题描述】:

人们通常认为,与 Python 或 JavaScript 等动态语言编码相比,Ocaml 或 F# 等函数式编程语言具有类型系统,使我们可以花更多时间编写代码,而减少调试时间。

现在我正在编写一个与 FsLexYacc、F# Lexer 和 Parser 包一起使用的解析器规范。解析器规范有这样的东西,用于解析整数和标识符名称:

%token <int> CSTINT
%token <string> NAME
...
Expr: 
  NAME {VAR $1}
 |CSTINT {CSTI $1}

这类代码不再用函数式编程语言编写,因此它们不再受到类型系统的“保护”。我猜奇怪的错误很容易溜进来(虽然不太确定)。

问题:是否有任何工作(理论或实践)试图通过为解析器/词法分析器规范提供一种类型系统来解决这个问题?

【问题讨论】:

  • 我用几个参考资料回答了这个问题,但我认为问题和答案实际上超出了 SO 的范围,这不鼓励寻求场外资源的问题。关于计算机科学理论方面的问题通常最好提交给Computer Science。

标签: parsing functional-programming f# lex type-systems


【解决方案1】:

是的,在这个领域已经进行了一定的研究。

需要注意的是,虽然LR解析算法中使用的语义值栈具有异构类型,但算法本身是类型安全的。但是当然,算法的实现可能会出现错误,因此如果编译器本身可以验证解析器生成器生成的代码是否正确键入,那将是理想的。事实证明这是可能的,并且已经产生了许多实现。

我手头没有完整的参考书目,但我手头有两篇发表于 2006 年的论文,看起来很相关:

  • Towards Efficient, Typed LR Parsers François Pottier 和 Yann Régis-Gianas:

    与许多函数式编程语言实现捆绑在一起的 LR 解析器生成器生成的代码是无类型的、不必要的低效代码,或者两者兼而有之。我们表明,使用广义代数数据类型,可以生成类型良好(因此它们不会意外崩溃或失败)且仍然高效的解析器。

  • Derivation of a Typed Functional LR Parser Ralf Hinze 和 Ross Paterson:

    本文描述了 LR 解析的纯函数式实现。 我们从打印的逆向开始,通过一系列步骤正式派生出我们的解析器。与 LR 解析的传统实现相比,生成的解析器是完全类型化的、无堆栈的和无表的。解析函数与由延续参数表示的每个备选方案并行地寻找备选方案。与传统的表驱动解析器相比,直接实现提供了许多优化机会,并且初始测量显示出出色的性能。

【讨论】:

    【解决方案2】:

    您可以使用FParsec 定义您的解析器。这样,您将获得使用 F# 类型系统的所有好处。上面可以用 F# 中的 FParsec 来描述如下:

    type Expression = StringExpr of String | NumberExpr of int
    
         
    let alphanumericString = letter .>>. (manyChars (letter <|> digit)) 
                              >>= (fun (c,s)-> preturn (StringExpr(c.ToString()+s)))
    
    let number = manyChars digit 
                     >>= (fun n -> preturn (NumberExpr (Int32.Parse n)))
    
    let expression = alphanumericString <|> number 
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2013-04-29
      • 1970-01-01
      • 1970-01-01
      • 2012-03-04
      • 2013-01-31
      • 1970-01-01
      • 1970-01-01
      • 2017-03-03
      相关资源
      最近更新 更多