Recursion Recursion Recursion --- 我怎样才能提高性能？ （Python存档递归提取）

Question

我正在尝试开发递归提取器。问题是，它递归太多（每次找到存档类型）并且性能受到影响。

那么我该如何改进下面的代码呢？

我的想法 1：

首先获取目录的“字典”，以及文件类型。文件类型作为键。提取文件类型。找到档案时，仅提取该档案。然后再次重新生成存档字典。

我的想法 2：

os.walk 返回生成器。那么我可以用发电机做些什么吗？我是生成器的新手。

这是当前代码：

import os, magic
m = magic.open( magic.MAGIC_NONE )
m.load()

archive_type = [ 'gzip compressed data',
        '7-zip archive data',
        'Zip archive data',
        'bzip2 compressed data',
        'tar archive',
        'POSIX tar archive',
        'POSIX tar archive (GNU)',
        'RAR archive data',
        'Microsoft Outlook email folder (>=2003)',
        'Microsoft Outlook email folder']

def extractRecursive( path ,archives):
    i=0
    for dirpath, dirnames, filenames in os.walk( path ):
        for f in filenames:
            fp = os.path.join( dirpath, f )
            i+=1
            print i
            file_type = m.file( fp ).split( "," )[0]
            if file_type in archives:
                arcExtract(fp,file_type,path,True)
                extractRecursive(path,archives)
    return "Done"



def arcExtract(file_path,file_type,extracted_path="/home/v3ss/Downloads/extracted",unlink=False):
    import subprocess,shlex


    if file_type in pst_types:
        cmd = "readpst -o  '%s' -S '%s'" % (extracted_path,file_path)
    else:
        cmd = "7z -y -r -o%s x '%s'" % (extracted_path,file_path)

    print cmd
    args= shlex.split(cmd)
    print args

    try:
        sp = subprocess.Popen( args, shell = False, stdout = subprocess.PIPE, stderr = subprocess.PIPE )
        out, err = sp.communicate()
        print out, err
        ret = sp.returncode
    except OSError:
        print "Error no %s  Message %s" % (OSError.errno,OSError.message)
        pass

    if ret == 0:
        if unlink==True:
            os.unlink(file_path)
        return "OK!"
    else:
        return "Failed"
if __name__ == '__main__':
    extractRecursive( 'Path/To/Archives' ,archive_type)

Answer 1

如果您想将存档文件提取到它们所在路径“上方”的路径，os.walk 本身（在其正常的自上而下操作中）无法帮助您（因为当您将档案提取到某个目录 x 中时，os.walk 可能（尽管不一定）已经考虑过目录 x ——因此只有让 os.walk 一遍又一遍地查看整个路径，您才能获得所有内容） .除了，我很惊讶你的代码会终止，因为归档类型的文件应该不断被发现和提取——我看不出什么可以终止递归。 （为了解决这个问题，保留一组您已经提取的归档类型文件的所有路径就足够了，以避免再次遇到它们时再次考虑它们。

无论如何，到目前为止，最好的架构是如果arcExtract 返回它已提取的所有文件的列表（特别是它们的目标路径）——那么您可以简单地继续扩展包含所有这些提取文件的列表在os.walk 循环期间（无递归），然后继续在列表上循环（无需继续询问操作系统有关文件和目录的信息，也节省了该操作的大量时间）并生成一个新的类似列表。没有递归，没有工作冗余。我想readpst 和7z 能够以某种文本形式提供这样的列表（可能在他们的标准输出或错误上，你目前只是显示但不处理），你可以解析它以使其成为一个列表...？

Answer 2

您可以简化您的 extractRecursive 方法以使用应使用的 os.walk。 os.walk 已经读取了所有子目录，所以不需要你的递归。

只需删除递归调用，它应该可以工作:)

def extractRecursive(path, archives, extracted_archives=None):
    i = 0
    if not extracted_archives:
        extracted_archives = set()

    for dirpath, dirnames, filenames in os.walk(path):
        for f in filenames:
            fp = os.path.join(dirpath, f)
            i += 1
            print i
            file_type = m.file(fp).split(',')[0]
            if file_type in archives and fp not in extracted_archives:
                extracted_archives.add(fp)
                extracted_in.add(dirpath)
                arcExtract(fp, file_type, path, True)

    for path in extracted_in:
        extractRecursive(path, archives, extracted_archives)

    return "Done"