在目录中迭代以使用 python 压缩文件

Question

我需要遍历一个文件夹并找到文件名相同的每个实例（扩展名除外），然后将它们中的每一个压缩（最好使用 tarfile）到一个文件中。

所以我有 5 个名为“example1”的文件，每个文件都有不同的文件扩展名。我需要将它们压缩在一起并将它们输出为“example1.tar”或类似的东西。

使用简单的 for 循环就很容易了，例如：

tar = tarfile.open('example1.tar',"w")

用于 glob 中的输出（'example1*'）：

tar.add(输出)

tar.close()

但是，有 300 个“示例”文件，我需要遍历每个文件及其关联的 5 个文件才能完成这项工作。这超出了我的想象。非常感谢任何建议。

Answer 1

您所描述的模式可以推广到 MapReduce。我在网上找到了 MapReduce 的a simple implementation，其中一个更简单的版本是：

def map_reduce(data, mapper, reducer):
    d = {}
    for elem in data:
        key, value = mapper(elem)
        d.setdefault(key, []).append(value)
    for key, grp in d.items():
        d[key] = reducer(key, grp)
    return d

您想按名称对所有文件进行分组，不带扩展名，您可以从os.path.splitext(fname)[0] 获得扩展名。然后，您想使用 tarfile 模块从每个组中制作一个 tarball。在代码中，即：

import os
import tarfile

def make_tar(basename, files):
    tar = tarfile.open(basename + '.tar', 'w')
    for f in files:
        tar.add(f)
    tar.close()

map_reduce(os.listdir('.'),
           lambda x: (os.path.splitext(x)[0], x),
           make_tar)

编辑：如果你想以不同的方式对文件进行分组，你只需要将第二个参数修改为map_reduce。上面的代码对表达式os.path.splitext(x)[0] 具有相同值的文件进行分组。因此，要通过 all 去除扩展名的基本文件名进行分组，您可以将该表达式替换为 strip_all_ext(x) 并添加：

def strip_all_ext(path):
    head, tail = os.path.split(path)
    basename = tail.split(os.extsep)[0]
    return os.path.join(head, basename)

Answer 2

你可以这样做：

• 列出目录中的所有文件
• 创建一个字典，其中基本名称是键，所有扩展都是值
• 然后按字典键tar所有文件

类似这样的：

import os
import tarfile
from collections import defaultdict

myfiles = os.listdir(".")   # List of all files
totar = defaultdict(list)

# now fill the defaultdict with entries; basename as keys, extensions as values
for name in myfiles:
    base, ext = os.path.splitext(name)
    totar[base].append(ext)

# iterate through all the basenames
for base in totar:
    files = [base+ext for ext in totar[base]]
    # now tar all the files in the list "files"
    tar = tarfile.open(base+".tar", "w")
    for item in files:    
        tar.add(item)
    tar.close()

Answer 3

你必须解决问题。分别解决。

1. 查找匹配的名称。使用collections.defaultict

2. 在找到匹配的名称后创建 tar 文件。你已经得到了很好的覆盖。

所以。先解决问题1。

使用glob 获取所有名称。使用os.path.basename 拆分路径和基本名称。使用os.path.splitext 拆分名称和扩展名。

列表字典可用于保存所有同名文件。

这是你在第 1 部分中所做的吗？

---

第 2 部分是将文件放入 tar 存档。为此，您已经获得了所需的大部分代码。

Answer 4

尝试使用 glob 模块：http://docs.python.org/library/glob.html

Answer 5

#! /usr/bin/env python

import os
import tarfile

tarfiles = {}
for f in os.listdir ('files'):
    prefix = f [:f.rfind ('.') ]
    if prefix in tarfiles: tarfiles [prefix] += [f]
    else: tarfiles [prefix] = [f]

for k, v in tarfiles.items ():
    tf = tarfile.open ('%s.tar.gz' % k, 'w:gz')
    for f in v: tf.addfile (tarfile.TarInfo (f), file ('files/%s' % f) )
    tf.close ()

Answer 6

import os
import tarfile

allfiles = {}

for filename in os.listdir("."):
    basename = '.'.join (filename.split(".")[:-1] )
    if not basename in all_files:
        allfiles[basename] = [filename]
    else:
        allfiles[basename].append(filename)

for basename, filenames in allfiles.items():
    if len(filenames) < 2:
        continue
    tardata = tarfile.open(basename+".tar", "w")
    for filename in filenames:
        tardata.add(filename)
    tardata.close()