多字节字符是否会干扰正则表达式中的结束行字符？

Question

使用这个正则表达式：

regex1 = /\z/

以下字符串匹配：

"hello" =~ regex1 # => 5
"こんにちは" =~ regex1 # => 5

但使用这些正则表达式：

regex2 = /#$/?\z/
regex3 = /\n?\z/

他们表现出不同：

"hello" =~ regex2 # => 5
"hello" =~ regex3 # => 5
"こんにちは" =~ regex2 # => nil
"こんにちは" =~ regex3 # => nil

什么是干扰？字符串编码为 UTF-8，操作系统为 Linux（即$/ 为"\n"）。多字节字符是否干扰$/？怎么样？

Answer 1

您报告的问题肯定是RUBY_VERSION #=> "2.0.0" 的Regexp 的错误，但在之前的1.9 中已经存在，当编码允许__ENCODING__ #=> #<Encoding:UTF-8> 等多字节字符时

不依赖于 Linux，也可以在 OSX 和 Windows 中重现相同的行为。

在bug 8210 将得到修复的同时，我们可以通过隔离和了解出现问题的情况来提供帮助。 当适用于特定情况时，这对于任何解决方法也很有用。

我了解问题发生在以下情况：

• 在字符串结尾\z之前搜索内容。
• 字符串的最后一个字符是多字节。
• 之前的搜索使用零或一模式?
• 但搜索到的零或一个字符的数量少于最后一个字符的字节数。

这个bug可能是由于字节数和正则表达式引擎实际检查的字符数之间的误解造成的。

几个例子可能会有所帮助：

测试 1：最后一个字符：“は”是 3 个字节：

s = "んにちは"

在字符串结束前测试 ん [3 个字节] 的零个或一个：

s =~ /ん?\z/u   #=> 4"       # OK it works 3 == 3

当我们尝试使用 ç [2 字节]

s =~ /ç?\z/u   #=> nil       # KO: BUG when 3 > 2
s =~ /x?ç?\z/u #=> 4         # OK it works 3 == ( 1+2 )

当测试 \n [1 个字节] 的零或之一时

s =~ /\n?\z/u #=> nil"      # KO: BUG when 3 > 1
s =~ /\n?\n?\z/u #=> nil"   # KO: BUG when 3 > 2
s =~ /\n?\n?\n?\z/u #=> 4"  # OK it works 3 == ( 1+1+1)

通过 TEST1 的结果，我们可以断言：如果字符串的最后一个多字节字符是 3 个字节，那么“之前的零或一”测试仅在我们测试至少 3 个字节（而不是 3 个字符）之前。

测试 2：最后一个字符 "ç" 是 2 个字节

s = "in French there is the ç" 

检查 ん [3 个字节]" 中的零个或一个"

s =~ /ん?\z/u #=> 24        # OK 2 <= 3

检查 é [2 个字节] 中的零个或一个

s =~ /é?\z/u #=> 24         # OK 2 == 2
s =~ /x?é?\z/u #=> 24       # OK 2 < (2+1)

测试 \n [1 个字节] 中的零个或一个

s =~ /\n?\z/u    #=> nil    # KO 2 > 1  ( the BUG occurs )
s =~ /\n?\n?\z/u #=> 24     # OK 2 == (1+1)
s =~ /\n?\n?\n?\z/u #=> 24  # OK 2 < (1+1+1)

通过 TEST2 的结果，我们可以断言：如果字符串的最后一个多字节字符是 2 个字节，那么“之前的零或一”测试仅在我们检查至少 2 个字节（而不是 2字符）之前。

当多字节字符不在字符串末尾时，我发现它可以正常工作。

public gist with my test code available here

Answer 2

在Ruby trunk 中，该问题现已被接受为错误。希望它会得到修复。

更新：Ruby 主干中发布了两个补丁。