检查一个正则表达式是否覆盖另一个正则表达式

Question

我正在尝试实现文本聚类算法。该算法通过用正则表达式替换相似的原始文本行来对它们进行聚类，并聚合与每个正则表达式匹配的模式数量，以便提供输入文本的简洁摘要，而不是显示输入文本中的重复模式。在这次尝试中，我遇到了需要找出一个正则表达式是否涵盖另一个。

假设我们只关注带有“*”和“+”通配符的正则表达式，即“*”表示字母表出现零次或多次，“+”表示出现1次或多次的字母表。还假设字符集是 ASCII。

例如：

1. AB covers AB
      This is straightforward.
2. ABC* covers ABC
      Because ABC* can generate: ABC, ABCC, ABCCC etc.
3. A*B+C* covers AB+C*
      Because A*B+C* can generate ABBC, AABBC, AABBCC etc. which covers
      all strings generated by AB+C*.
4. A+M+BC* covers AMM+B+C+M+BC*
      Similar to case [3] above.

基本上，我正在寻找以下方法的有效实现，该方法告诉 strA（可能包含正则表达式）是否涵盖 strB（可能包含正则表达式）。请注意，还应该有一种方法可以转义输入字符串 strA 和 strB 中的正则表达式字符“*”和“+”。

C++ 中的方法签名：

bool isParentRegex(const string& strA, const string& strB)

我的想法是实现需要递归方法，它可能有点复杂。但我很想知道我是否可以重用现有的实现而不是重新发明轮子，或者是否有任何其他直接的方法可以做到这一点。

Answer 1

在 Perl 中，这非常简单。第一步是通过将A+ 更改为AA*、A*A 更改为AA* 并将A*A* 更改为A* 来规范化每个正则表达式：

sub normalize_regex($)
{
    local $_ = shift;
    s/(.)\+/$1$1*/g;
    1 while s/(.)\*\1(?!\*)/$1$1*/g or s/(.\*)\1/$1/g;
    return $_;
}

第二步是将第一个正则表达式从匹配字符串本身的正则表达式转换为匹配匹配这些字符串的规范化正则表达式的 Perl 正则表达式；例如，AA*B 将转换为 ^AA*\*?B$，表示“字符串开头，后跟 A，后跟零个或多个 A，可选地后跟一个星号，后跟 B，然后是字符串结尾"：

sub regex_to_metaregex($)
{
    local $_ = shift;
    s/(.)(\*?)/$2 ? "\Q$1\E*(\Q$1\E\\*)?" : "\Q$1"/eg;
    return qr/^$_$/;
}

第三步无需解释：

sub does_regex1_cover_regex2($$)
{
    my ($r1, $r2) = @_;
    $r1 = regex_to_metaregex normalize_regex $r1;
    $r2 = normalize_regex $r2;
    return scalar $r2 =~ m/$r1/;
}

这将为您的案例 #1–3 返回一个真值。但是，它会为您的案例 #4 返回一个错误值，因为除非我真的错过了什么，否则A+M+BC* 是否不 覆盖AMM+B+C+M+BC*？

请注意，还应该有一种方法可以对输入字符串 strA 和 strB 中的正则表达式字符“*”和“+”进行转义。

在上面的代码中我并不担心，但由于您只担心 ASCII，因此预处理步骤可以处理 \* 意思是 *、\+ 意思是 + 和 \\ 意思\，将它们翻译成 ASCII 范围之外的单个字符：

sub process_escapes($)
{
    local $_ = shift;
    s/\\\\/\x80/g;
    s/\\\+/\x81/g;
    s/\\\*/\x82/g;
    s/\x80/\\/g;
    return $_;
}

（尽管这显然相当老套）。

在 C++ 中，您可以使用相同的方法 - 存在实现 Perl 正则表达式的所有必要功能的库 - 尽管显然需要更多的工作。

Answer 2

考虑到您提出的简单正则表达式语法，解决方案相当简单。

举个更复杂的例子，A+M+BC* covers AMM+B+C+M+BC* 您可以将其重写为A{1,}M{1,}B{1,1}C{0,} 覆盖A{1,1}M{2,}B{1,}C{1,}M{1,}B{1,1}C{0,}

这将我们引向一个简单的规则：R1 覆盖 R2 如果所有符号以相同的顺序出现，R1 的所有下限都小于或等于 R2 的下限，并且R1 大于或等于R2。

现在这个简单规则有一个小问题。 AB*C 覆盖了AC，即有可能一个可选符号出现在R1 而不是R2。当 R1 中有一个（可选）符号没有出现在 R2 中的等效位置时，您可以通过在 R2 中插入一个 {0,0} 来解决这个问题。例如。 AB*C 确实涵盖了 AB{0,0}C。

“可选符号”规则是一种优化。如果R1 中的符号不​​是可选的，R1 肯定不会覆盖R2。例如。 AB+C 不包括 AC。因此无需插入B{0,0}。但是如果你这样做了，你会发现A{1,1}B{1,}C{1,1} 没有覆盖A{1,1}B{0,0}C{1,1}，因为B (1) 上的R1 下限大于B (0) 上的R2 下限

Answer 3

我会做一些事情，比如实现一个从给定正则表达式中找到最小 DFA 的函数。假设

DFA GetMinimalDFA(Regex r1) 可以做到这一点。

bool isParentRegex(Regex r1, Regex r2) {
    DFA a = GetMinimalDFA(r1);
    DFA b = GetMinimalDFA(Regex.OR(r1,r2))
    return a.Equals(b);
}

Answer 4

请检查this perl module source，但请记住它不适用于所有正则表达式（因为它会导致解决halting problem。