用于多行检查的正则表达式答案

【问题标题】：Regex for multiple lines checking用于多行检查的正则表达式
【发布时间】：2013-03-06 13:31:55
【问题描述】：

我正在尝试使用正则表达式 (import re) 从日志文件中提取我想要的信息。

更新：添加了破坏所有示例代码的 C:\WINDOWS\security 文件夹权限。

说日志的格式是：

C:\:
    BUILTIN\Administrators  Allowed:    Full Control
    NT AUTHORITY\SYSTEM Allowed:    Full Control
    BUILTIN\Users   Allowed:    Read & Execute
    BUILTIN\Users   Allowed:    Special Permissions: 
            Create Folders
    BUILTIN\Users   Allowed:    Special Permissions: 
            Create Files
    \Everyone   Allowed:    Read & Execute
    (No auditing)

C:\WINDOWS\system32:
    BUILTIN\Users   Allowed:    Read & Execute
    BUILTIN\Power Users Allowed:    Modify
    BUILTIN\Power Users Allowed:    Special Permissions: 
            Delete
    BUILTIN\Administrators  Allowed:    Full Control
    NT AUTHORITY\SYSTEM Allowed:    Full Control
    (No auditing)

C:\WINDOWS\system32\config:
    BUILTIN\Users   Allowed:    Read & Execute
    BUILTIN\Power Users Allowed:    Read & Execute
    BUILTIN\Administrators  Allowed:    Full Control
    NT AUTHORITY\SYSTEM Allowed:    Full Control
    (No auditing)

C:\WINDOWS\security:
    BUILTIN\Users   Allowed:    Special Permissions: 
            Traverse Folder
            Read Attributes
            Read Permissions
    BUILTIN\Power Users Allowed:    Special Permissions: 
            Traverse Folder
            Read Attributes
            Read Permissions
    BUILTIN\Administrators  Allowed:    Full Control
    NT AUTHORITY\SYSTEM Allowed:    Full Control
    (No auditing)

并且它对其他几个目录重复。如何将它们拆分为paragraphs，然后检查包含Special Permissions: 的行？

像这样：

将整个字符串 1 分成几个部分，C:\ 和 C:\WINDOWS\system32。
查看包含“特殊权限：”的每一行
显示整行，例如： C:\: BUILTIN\Users Allowed: Special Permissions: \n\ Create Folders\n\ BUILTIN\Users Allowed: Special Permissions: \n\ Create Files\n\
下一个“段落”重复

我在想： 1. 在整个文本文件中搜索r"(\w+:\\)(\w+\\?)*:" - 将路径返回给我 2.字符串函数或正则表达式来获取其余的输出 3.删除除Special Permissions之外的所有其他行 4. 显示并重复步骤 1

但我觉得效率不高。

有人可以指导我吗？谢谢。

示例输出：

C:\:
BUILTIN\Users   Allowed:    Special Permissions:
Create Folders
BUILTIN\Users   Allowed:    Special Permissions:
Create Files

C:\WINDOWS\system32:
BUILTIN\Power Users Allowed:    Special Permissions: 
Delete

C:\WINDOWS\security:
BUILTIN\Users   Allowed:    Special Permissions: 
Traverse Folder
Read Attributes
Read Permissions
BUILTIN\Power Users Allowed:    Special Permissions: 
Traverse Folder
Read Attributes
Read Permissions

C:\WINDOWS\system32\config 不显示，因为行中没有特殊权限。

我正在使用的模板：

import re

text = ""

def main():
    f = open('DirectoryPermissions.xls', 'r')
    global text
    for line in f:
        text = text + line
    f.close
    print text

def regex():
    global text
    <insert code here>

if __name__ == '__main__':
    main()
    regex()

【问题讨论】：

使用re 模块，而不是regex。另外，请查看三引号字符串。
最后要什么数据？
@nmichaels，大声笑我会编辑，我正在使用 import re @MattH - 显示每个路径中包含 Special Permissions: 的完整行
您应该做的第一件事是使用 file.readline() 或 file.readlines() 逐行工作。您无需使用正则表达式即可找到开始部分和条目的行。

标签： python regex

【解决方案1】：

# I would replace this with reading lines from a file,
# rather than splitting a big string containing the file.

section = None
inspecialperm = False
with open("testdata.txt") as w:
    for line in w:
        if not line.startswith("            "):
            inspecialperm = False

        if section is None:
            section = line

        elif len(line) == 0:
            section = None

        elif 'Special Permissions' in line:
            if section:
                print section
                section = ""
            inspecialperm = True
            print line,

        elif inspecialperm:
            print line,

【讨论】：

我试过你的代码，它部分工作，正确选择了那些特殊权限，但不打印权限本身。我会试着摆弄它。
我更新了一点。现在，如果它们没有“特殊权限”行，它不会打印部分标题，它应该打印权限。如果您不希望打印标签，只需在打印之前对其进行剥离即可。
这有什么问题？我将您的文本放入文件中，然后运行代码，效果很好。

【解决方案2】：

如果通过“split & strip”解析字符串，则根本不需要re模块，效率更高：

for paragraph in string1.split('\n\n'):
    path = paragraph.split('\n', 1)[0].strip().rstrip(':')
    paragraph = paragraph.replace(': \n', ': ') # hack to have permissions in same line
    for line in paragraph.split('\n'):
        if 'Special Permissions: ' in line:
            permission = line.rsplit(':', 1)[-1].strip()
            print 'Path "%s" has special permission "%s"' % (path, permission)

将print 语句替换为适合您需要的任何内容。

编辑： 正如评论中所指出的，以前的解决方案不适用于已编辑问题中的新输入行，但这是解决方法（仍然比使用正则表达式更有效） ):

for paragraph in string1.split('\n\n'):
    path = paragraph.split('\n', 1)[0].strip().rstrip(':')
    owner = None
    for line in paragraph.split('\n'):
        if owner is not None and ':' not in line:
            permission = line.rsplit(':', 1)[-1].strip()
            print 'Owner "%s" has special permission "%s" on path "%s"' % (owner, permission, path)
        else:
            owner = line.split(' Allowed:', 1)[0].strip() if line.endswith('Special Permissions: ') else None

【讨论】：

您的代码在出现以下情况时会以某种方式中断：C:\WINDOWS\security: BUILTIN\Users Allowed: Special Permissions: Traverse Folder Read Attributes Read Permissions
是的。它旨在在编辑问题之前解析原始输入字符串。现在我也更新了解决方案以匹配最后一种情况。
有趣。效果很好。谢谢。在我提出我的代码之前，永远不会真正理解你的代码。但是您的方法要灵活得多，因为您可以操纵您希望它的打印方式。我不明白你的 rsplit 中的 [-1]。
rsplit 方法与split 相同，但从右开始。这些方法的第二个可选参数决定了字符串被分割的次数。因此，例如，line.rsplit(':', 1)[-1] 将行分成两部分，在最右边的“：”中，并保留最后一部分。无论如何，我刚刚意识到在这个新版本中，该语句可以简化为permission = line.strip()：P
是的，那部分是多余的。关于性能：请注意，这些答案并不否认使用正则表达式效率较低。另见：stackoverflow.com/questions/3239158。确实，编译的正则表达式可以很快。但是简单的拆分和替换仍然会快得多，尤其是在短字符串上。无论如何，我想在你的情况下性能不是问题，所以你应该优先考虑可读性。有些人认为使用正则表达式更具“声明性”和通用性。但我喜欢拆分，因为它们将大问题分成小部分，易于解决。这很优雅。

【解决方案3】：

类似于 Milkypostman 的解决方案，但您尝试输出的格式为：

lines=string1.splitlines()
seperator = None
for index, line in enumerate(lines):
    if line == "":
        seperator = line
    elif "Special Permissions" in line:
        if seperator != None:
            print seperator
        print line.lstrip()
        offset=0
        while True:
            #if the line's last 2 characters are ": "
            if lines[index+offset][-2:]==": ":
                print lines[index+offset+1].lstrip()
                offset+=1
            else:
                break

【讨论】：

嗨，我试过这段代码，但我不能让它工作，它一直在打印“创建文件夹”，我必须手动终止它。出了什么问题？
我的错误。对不起。现已修复。
哇，与其他人相比，您的逻辑编码如此不同。无论如何，很好的尝试，因为您获得了正确的特殊权限，但它不会打印出它们各自的目录。
对不起。我不敢相信我没有仔细看那些说明。解决方法是简单地将分隔符 = 行替换为分隔符 = 行 + "\n" + 行[index+1]

【解决方案4】：

这是使用re 模块和findall 方法的解决方案。

data = '''\
C:\:
    BUILTIN\Administrators  Allowed:    Full Control
    NT AUTHORITY\SYSTEM Allowed:    Full Control 
    BUILTIN\Users   Allowed:    Read & Execute
    BUILTIN\Users   Allowed:    Special Permissions: 
            Create Folders
    BUILTIN\Users   Allowed:    Special Permissions: 
            Create Files
    \Everyone   Allowed:    Read & Execute
    (No auditing)

C:\WINDOWS\system32:
    BUILTIN\Users   Allowed:    Read & Execute
    BUILTIN\Power Users Allowed:    Modify
    BUILTIN\Power Users Allowed:    Special Permissions: 
            Delete
    BUILTIN\Administrators  Allowed:    Full Control
    NT AUTHORITY\SYSTEM Allowed:    Full Control
    (No auditing)

C:\WINDOWS\system32\config:
    BUILTIN\Users   Allowed:    Read & Execute
    BUILTIN\Power Users Allowed:    Read & Execute
    BUILTIN\Administrators  Allowed:    Full Control
    NT AUTHORITY\SYSTEM Allowed:    Full Control
    (No auditing)
'''

if __name__ == '__main__':
    import re

    # A regular expression to match a section "C:...."
    cre_par = re.compile(r'''
                ^C:.*?
                ^\s*$''', re.DOTALL | re.MULTILINE | re.VERBOSE)

    # A regular expression to match a "Special Permissions" line, and the
    # following line.
    cre_permissions = re.compile(r'''(^.*Special\ Permissions:\s*\n.*)\n''', 
                                re.MULTILINE | re.VERBOSE)

    # Create list of strings to output.
    out = []
    for t in cre_par.findall(data):
        out += [t[:t.find('\n')]] + cre_permissions.findall(data) + ['']

    # Join output list of strings together using end-of-line character
    print '\n'.join(out)

这是生成的输出：

C:\:
    BUILTIN\Users   Allowed:    Special Permissions: 
            Create Folders
    BUILTIN\Users   Allowed:    Special Permissions: 
            Create Files
    BUILTIN\Power Users Allowed:    Special Permissions: 
            Delete

C:\WINDOWS\system32:
    BUILTIN\Users   Allowed:    Special Permissions: 
            Create Folders
    BUILTIN\Users   Allowed:    Special Permissions: 
            Create Files
    BUILTIN\Power Users Allowed:    Special Permissions: 
            Delete

C:\WINDOWS\system32\config:
    BUILTIN\Users   Allowed:    Special Permissions: 
            Create Folders
    BUILTIN\Users   Allowed:    Special Permissions: 
            Create Files
    BUILTIN\Power Users Allowed:    Special Permissions: 
            Delete

【讨论】：

您好，感谢您的代码，但输出错误。 system32\config 不应出现，system32 只有 Special Permissions: Delete。 C:\: 应该只有 Create Files and Folders。不过，我稍后也会查看您的代码。再次感谢

【解决方案5】：

感谢milkypostman、scoffey，其余的我想出了解决方案：

def regex():
    global text
    for paragraph in text.split('\n\n'):
        lines = paragraph.split('\n', 1)
        #personal modifier to choose certain output only
        if lines[0].startswith('C:\\:') or lines[0].startswith('C:\\WINDOWS\system32:') or lines[0].startswith('C:\\WINDOWS\\security:'):
            print lines[0]
            iterables = re.finditer(r".*Special Permissions: \n(\s+[a-zA-Z ]+\n)*", lines[1])
            for items in iterables:
                #cosmetic fix
                parsedText = re.sub(r"\n$", "", items.group(0))
                parsedText = re.sub(r"^\s+", "", parsedText)
                parsedText = re.sub(r"\n\s+", "\n", parsedText)
                print parsedText
            print

我仍然会浏览所有发布的代码（尤其是 scoffey 的，因为我从来不知道纯字符串操作有那么强大）。感谢您的洞察力！

当然，这不是最理想的，但它适用于我的情况。如果您有任何建议，请随时发布。

输出：

C:\Python27>openfile.py
C:\:
BUILTIN\Users   Allowed:        Special Permissions:
Create Folders
BUILTIN\Users   Allowed:        Special Permissions:
Create Files

C:\WINDOWS\security:
BUILTIN\Users   Allowed:        Special Permissions:
Traverse Folder
Read Attributes
Read Permissions
BUILTIN\Power Users     Allowed:        Special Permissions:
Traverse Folder
Read Attributes
Read Permissions

C:\WINDOWS\system32:
BUILTIN\Power Users     Allowed:        Special Permissions:
Delete

【讨论】：