正则表达式引擎优化：`(?:.)*` 真的比 `.*` 更昂贵吗？

Question

一些背景

我通常使用网站http://regex101.com 来测试我的正则表达式，它在PCRE 中提供了一个“调试器”功能，可以让您逐步了解正则表达式引擎在做什么。

当用.* 匹配一个随机字符串时，这个调试器告诉我引擎遵循3 steps 的常数。

当与(?:.)* 匹配时，它会根据长度宣布一个数字：66 steps 表示类似0123456789012345678901234567899。

(?:.)* 真的比.* 贵吗？

似乎在后一种情况下，每次进入组都被认为是一个新的步骤，而在前一种情况下，.* 是一次应用的。

这是网站正在做的某种“改进”（试图避免显示无用的情况），还是与真正的内部正则表达式机制相匹配？如果是这样，幕后的想法是什么？

Answer 1

您没有指定哪个引擎。您提到了 PCRE，但您也使用 Perl 进行了标记。

---

regex101 站点显示 PCRE 使用一项操作处理 .*，但这并不意味着一项操作比等效的 (?:.)* 生成的操作更快。只有基准测试才能说明问题，但.* 可能会由于开销较少而稍微快一些。

---

在 Perl 中，它们编译为完全相同的正则表达式程序（如下所示），因此它们的执行方式相同。

>perl -Mre=debug -e"'0123456789012345678901234567899' =~ /.*/"
Compiling REx ".*"
Final program:
   1: STAR (3)
   2:   REG_ANY (0)
   3: END (0)
anchored(MBOL) implicit minlen 0
Matching REx ".*" against "0123456789012345678901234567899"
   0 <> <0123456789>         |  1:STAR(3)
                                  REG_ANY can match 31 times out of 2147483647...
  31 <901234567899> <>       |  3:  END(0)
Match successful!
Freeing REx: ".*"

>perl -Mre=debug -e"'0123456789012345678901234567899' =~ /(?:.)*/"
Compiling REx "(?:.)*"
Final program:
   1: STAR (3)
   2:   REG_ANY (0)
   3: END (0)
anchored(MBOL) implicit minlen 0
Matching REx "(?:.)*" against "0123456789012345678901234567899"
   0 <> <0123456789>         |  1:STAR(3)
                                  REG_ANY can match 31 times out of 2147483647...
  31 <901234567899> <>       |  3:  END(0)
Match successful!
Freeing REx: "(?:.)*"

在这两种情况下，都会扫描字符串中不是换行符的字符，仅此而已。

---

请注意，无论采取多少“步骤”，都无法在恒定时间内完成。 . 不匹配换行符（没有/s），因此正则表达式引擎必须检查它即将匹配的每个字符以查看它是否是换行符。

Answer 2

您可以使用pcretest 查看差异。 Here 是一个很好的教程。

您的第一个示例显然需要几个步骤，然后是第二个。在带有+ 的左侧，您可以看到模式中的位置，右侧是输入中的匹配位置。

1.) /.*/CD on str 0123456789012345678901234567899 带有调试修饰符CD

2.) /(?:.)*/CD 相同的字符串

也就是说，真正发生了什么。

Answer 3

我编写了一个小的基准代码来测试这个场景。并且您的两个正则表达式在性能上几乎同时返回。所以不确定哪个更好。

但是，我已将您更改的正则表达式 (?:.)* 更改为 (.)* 并大大降低了性能。我相信这是因为group capturing。代码如下：

use Benchmark qw( cmpthese );

cmpthese(-3, {    
    '.*'     => '"kasdaskdhas dhaskdh askdhqwioeuweakjsdhasjdk asjdk ask" =~ /.*/',
    '(?:.)*' => '"kasdaskdhas dhaskdh askdhqwioeuweakjsdhasjdk asjdk ask" =~ /(?:.)*/',
    '(.)*'   => '"kasdaskdhas dhaskdh askdhqwioeuweakjsdhasjdk asjdk ask" =~ /(.)*/',
});

输出：

            Rate   (.)* (?:.)*     .*
(.)*   2305921/s     --   -34%   -35%
(?:.)* 3499870/s    52%     --    -1%
.*     3524871/s    53%     1%     --

.* 和 (?:.)* 之间 1% 的差异是噪音，毫无意义。

Answer 4

网站似乎没有解释这些步骤是什么！

这一定是一个优化问题。问题“(?:.)* 真的比.*? 更昂贵” 取决于使用的正则表达式引擎，并且该站点不太可能使用内置于 perl 编译器/解释器中的 Perl 正则表达式引擎.无论它做什么使用的优化都选择忽略像(?:.)*这样在现实世界中不太可能发生的琐碎情况。

如果您需要您的正则表达式运行得更快，那么您应该使用Benchmark 来比较不同的模式，或者可能是Regexp::Optimizer，它会尝试将您的模式重写为一个等效的更快的模式，或者Regexp::Debugger 这将允许您看看幕后发生了什么。

但是请不要采取这些措施，除非您编写了一个功能清晰但执行速度不够快的程序，并且已经证明瓶颈是正则表达式匹配。正则表达式引擎完全用 C 语言编写，您不太可能通过更改其使用的正则表达式模式对代码的整体速度产生重大影响。

Answer 5

我不是这方面的专家，但据我所知，是的，/(?:.)*/ 和 /(.)*/ 比 /.*/ 更昂贵。

根据backtracking 上的 Perl 文档，

正则表达式匹配的一个基本特征包括 称为回溯的概念，目前（在需要时）由 所有常规的非占有性表达式量词，即 * ， *? , + , +?、{n,m} 和 {n,m}?。回溯通常在内部进行优化，但此处概述的一般原则是有效的。

所以基本上，.* 在内部进行了优化，但我找不到说明如何的来源。

我还找到了另一个来源，Mastering Regular Expressions 的作者 Jeffrey Friedl 的 blog 帖子。

顺便说一下，我想我应该提一下 Perl 如何 有时会优化它处理正则表达式的方式。有时 它实际上执行的测试可能比我所描述的要少。或者它 也许某些测试比其他测试更有效（例如， /x*/ 经过内部优化，比 /(x)/ 或 /(?:x)/)。有时 Perl 甚至可以决定一个正则表达式可以 从不匹配有问题的特定字符串，因此将绕过测试 完全一致。

如果其他人可以更详细地解释 Perl 所做的优化，那将很有用！