按组名匹配正则表达式中的组的更好方法是什么

Question

我已阅读 How do I get the name of captured groups in a C# Regex? 和 How do I access named capturing groups in a .NET Regex? 以尝试了解如何在正则表达式中找到匹配组的结果。

我还阅读了 http://msdn.microsoft.com/en-us/library/30wbz966.aspx 的 MSDN 中的所有内容

我觉得奇怪的是 C#（或 .NET）似乎是唯一的正则表达式实现，它使您可以迭代组以查找匹配的组（特别是如果您需要名称），而且事实上名称不与组结果一起存储。例如，PHP 和 Python 将为您提供匹配的组名，作为 RegEx 匹配结果的一部分。

我必须迭代组并检查匹配项，并且我必须保留我自己的组名列表，因为名称不在结果中。

这是我要演示的代码：

public class Tokenizer
{
    private Dictionary<string, string> tokens;

    private Regex re;

    public Tokenizer()
    {
        tokens = new Dictionary<string, string>();
        tokens["NUMBER"] = @"\d+(\.\d*)?";  // Integer or decimal number
        tokens["STRING"] = @""".*""";       // String
        tokens["COMMENT"] = @";.*";         // Comment
        tokens["COMMAND"] = @"[A-Za-z]+";   // Identifiers
        tokens["NEWLINE"] = @"\n";          // Line endings
        tokens["SKIP"] = @"[ \t]";          // Skip over spaces and tabs

        List<string> token_regex = new List<string>();
        foreach (KeyValuePair<string, string> pair in tokens)
        {
            token_regex.Add(String.Format("(?<{0}>{1})", pair.Key, pair.Value));
        }
        string tok_regex = String.Join("|", token_regex);

        re = new Regex(tok_regex);
    }

    public List<Token> parse(string pSource)
    {
        List<Token> tokens = new List<Token>();

        Match get_token = re.Match(pSource);
        while (get_token.Success)
        {
            foreach (string gname in this.tokens.Keys)
            {
                Group group = get_token.Groups[gname];
                if (group.Success)
                {
                    tokens.Add(new Token(gname, get_token.Groups[gname].Value));
                    break;
                }
            }

            get_token = get_token.NextMatch();
        }
        return tokens;
    }
}

排队

foreach (string gname in this.tokens.Keys)

这不应该是必要的，但它是。

有没有办法找到匹配的组和它的名字而不必遍历所有组？

编辑：比较实现。这是我为 Python 实现编写的相同代码。

class xTokenizer(object):
    """
    xTokenizer converts a text source code file into a collection of xToken objects.
    """

    TOKENS = [
        ('NUMBER',  r'\d+(\.\d*)?'),    # Integer or decimal number
        ('STRING',  r'".*"'),           # String
        ('COMMENT', r';.*'),            # Comment
        ('VAR',     r':[A-Za-z]+'),     # Variables
        ('COMMAND', r'[A-Za-z]+'),      # Identifiers
        ('OP',      r'[+*\/\-]'),       # Arithmetic operators
        ('NEWLINE', r'\n'),             # Line endings
        ('SKIP',    r'[ \t]'),          # Skip over spaces and tabs
        ('SLIST',   r'\['),             # Start a list of commands
        ('ELIST',   r'\]'),             # End a list of commands
        ('SARRAY',  r'\{'),             # Start an array
        ('EARRAY',  r'\}'),             # End end an array
    ]

    def __init__(self,tokens=None):
        """
        Constructor
            Args:
                tokens - key/pair of regular expressions used to match tokens.
        """
        if tokens is None:
            tokens = self.TOKENS
        self.tokens = tokens
        self.tok_regex = '|'.join('(?P<%s>%s)' % pair for pair in tokens)
        pass

    def parse(self,source):
        """
        Converts the source code into a list of xToken objects.
            Args:
                sources - The source code as a string.
            Returns:
                list of xToken objects.
        """
        get_token = re.compile(self.tok_regex).match
        line = 1
        pos = line_start = 0
        mo = get_token(source)
        result = []
        while mo is not None:
            typ = mo.lastgroup
            if typ == 'NEWLINE':
                line_start = pos
                line += 1
            elif typ != 'SKIP':
                val = mo.group(typ)
                result.append(xToken(typ, val, line, mo.start()-line_start))
            pos = mo.end()
            mo = get_token(source, pos)
        if pos != len(source):
            raise xParserError('Unexpected character %r on line %d' %(source[pos], line))
        return result

如您所见，Python 不需要您对组进行迭代，类似的事情可以在 PHP 中完成，我假设是 Java。

Answer 1

无需维护单独的命名组列表。请改用Regex.GetGroupNames method。

您的代码将如下所示：

foreach (string gname in re.GetGroupNames())
{
    Group group = get_token.Groups[gname];
    if (group.Success)
    {
        // your code
    }
}

也就是说，请注意 MSDN 页面上的此注释：

即使捕获组没有明确命名，它们也是 自动分配的数字名称（1、2、3 等）。

考虑到这一点，您应该为所有组命名，或者过滤掉数字组名称。您可以使用一些 LINQ 或额外检查 !Char.IsNumber(gname[0]) 来检查组名的第一个字符，假设任何此类组都是无效的。或者，您也可以使用int.TryParse 方法。

Answer 2

您的所有令牌类型都以不同的字符开头。编译一个将所有可能的起始字符映射到匹配组名的HashSet<char,string> 怎么样？这样，您只需检查整个匹配项的第一个字符即可确定匹配的组。