Haskell 解析器应该允许数字文字中的 Unicode 数字吗？

Question

作为一个练习，我正在从头开始为 Haskell 编写一个解析器。在制作词法分析器时，我注意到Haskell 2010 Report 上有以下规则：

数字 → ascDigit | uniDigit
ascDigit → 0 | 1 | … | 9
uniDigit → 任何 Unicode 十进制数字
octit → 0 | 1 | … | 7
hexit → 数字 | A | … | F | a | … | f

十进制 → 数字{数字}
八进制 → 八进制 {八进制}
十六进制 → 十六进制{十六进制}

整数 → 十进制 | 0o 八进制 | 0O 八进制 | 0x 十六进制 | 0X 十六进制
浮点 → 十进制 . 十进制 [指数] | 十进制指数
指数 → (e | E) [+ | -] 十进制

十进制和十六进制文字以及浮点文字都基于digit，它允许任何Unicode十进制数字，而不是ascDigit，它只允许基本数字来自 ASCII 的 0-9。奇怪的是，octal 是基于 octit 的，它只承认 ASCII 数字 0-7。我猜这些“Unicode 十进制数字”是任何具有“Nd”通用类别的 Unicode 代码点。但是，这包括全角数字 0-9 和梵文数字 ०-९ 等字符。我可以理解为什么在标识符中允许使用这些可能是可取的，但我认为允许将९０ 写为文字90 没有任何好处。

GHC 似乎同意我的看法。当我尝试编译这个文件时，

module DigitTest where
x1 = １

它会吐出这个错误。

digitTest1.hs:2:6: error: lexical error at character '\65297'
  |
2 | x1 = １
  |      ^

但是，这个文件

module DigitTest where
x１ = 1

编译得很好。我是否错误地阅读了语言规范？ GHC 的（明智的）行为实际上是正确的，还是在技术上违反了报告中的规范？我在任何地方都找不到这件事。

Answer 1

在GHC源代码文件compiler/parser/Lexer.x中，可以找到如下代码：

ascdigit  = 0-9
$unidigit  = \x03 -- Trick Alex into handling Unicode. See [Unicode in Alex].
$decdigit  = $ascdigit -- for now, should really be $digit (ToDo)
$digit     = [$ascdigit $unidigit]
...
$binit     = 0-1
$octit     = 0-7
$hexit     = [$decdigit A-F a-f]
...
@numspc       = _*                   -- numeric spacer (#14473)
@decimal      = $decdigit(@numspc $decdigit)*
@binary       = $binit(@numspc $binit)*
@octal        = $octit(@numspc $octit)*
@hexadecimal  = $hexit(@numspc $hexit)*
@exponent     = @numspc [eE] [\-\+]? @decimal
@bin_exponent = @numspc [pP] [\-\+]? @decimal

这里，$decdigit 用于解析十进制和十六进制文字（及其浮点变体），而$digit 用于字母数字标识符的“数字”部分。 “ToDo”注释清楚地表明这是 GHC 与语言标准的公认偏差。

因此，您正确阅读了规范，而 GHC 是在半有意地违反规范。有一个open ticket 建议至少记录偏差，但我认为没有人表示有兴趣修复它。