连接和重新排列文件的最有效方法

Question

我正在读取几个文件，每个文件分为两部分，首先是几千行的标题部分，然后是几千行的正文。我的问题是我需要将这些文件连接到一个文件中，其中所有标题都在顶部，然后是正文。

目前我正在使用两个循环：一个是拉出所有标题并写入它们，第二个是写入每个文件的主体（我还包括一个 tmp_count 变量来限制要加载的行数转储到文件之前的内存）。

这非常慢 - 13gb 文件大约需要 6 分钟。谁能告诉我如何优化这一点，或者在 python 中是否有更快的方法来做到这一点？

谢谢！

这是我的代码：

def cat_files_sam(final_file_name,work_directory_master,file_count):

    final_file = open(final_file_name,"w")

    if len(file_count) > 1:
        file_count=sort_output_files(file_count)

    # only for @ headers    
    for bowtie_file in file_count:
        #print bowtie_file
        tmp_list = []

        tmp_count = 0
        for line in open(os.path.join(work_directory_master,bowtie_file)):
            if line.startswith("@"):

            if tmp_count == 1000000:
                final_file.writelines(tmp_list)
                tmp_list = []
                tmp_count = 0

            tmp_list.append(line)
            tmp_count += 1

        else:
            final_file.writelines(tmp_list)
            break

    for bowtie_file in file_count:
        #print bowtie_file
        tmp_list = []

        tmp_count = 0
        for line in open(os.path.join(work_directory_master,bowtie_file)):
            if line.startswith("@"):
            continue
        if tmp_count == 1000000:
            final_file.writelines(tmp_list)
            tmp_list = []
            tmp_count = 0

        tmp_list.append(line)
        tmp_count += 1
        final_file.writelines(tmp_list)

    final_file.close()

Answer 1

您希望移动 13Gb 数据的速度有多快？这个问题是 I/O 限制的，而不是 Python 的问题。要使其更快，请减少 I/O。这意味着您要么 (a) 坚持现有的速度，要么 (b) 重新调整工具链的后续元素以就地处理文件，而不是需要一个 13 Gb 的巨大文件。

Answer 2

你可以节省第二次跳过标题所花费的时间，只要你有合理的空闲磁盘空间：除了最终文件，还打开（for 'w+'）一个临时文件@ 987654321@，然后做：

import shutil

hdr_list = []
bod_list = []
dispatch = {True: (hdr_list, final_file), 
            False: (bod_list, temp_file)}

for bowtie_file in file_count:
    with open(os.path.join(work_directory_master,bowtie_file)) as f:
        for line in f:
            L, fou = dispatch[line[0]=='@']
            L.append(f)
            if len(L) == 1000000:
                fou.writelines(L)
                del L[:]

# write final parts, if any
for L, fou in dispatch.items():
    if L: fou.writelines(L)

temp_file.seek(0)
shutil.copyfileobj(temp_file, final_file)

这应该会提高您程序的性能。微调现在硬编码的1000000，甚至完全取消列表并将每一行直接写入适当的文件（最终或临时），是您应该进行基准测试的其他选项（但如果您有无限量的内存，那么我认为它们不会有太大影响——但是，关于性能的直觉往往会产生误导，所以最好尝试和衡量！-)。

Answer 3

您要编写的代码有两个严重的低效率问题（这不是提供的代码）：

1. 您正在第一个主要的 for 块中建立大量标题行列表，而不是仅仅将它们写出来。
2. 当您已经确定标题在 (1) 中的结尾位置时，您将在第二个主要 for 块中逐行跳过文件的标题。见file.seek and file.tell