在特定点将大文件拆分为较小的文件

Question

我知道这个问题已经被问过好几次了。但是这些解决方案在这里真的对我没有帮助。我有一个非常大的文件（大约 5GB）要读取、获取数据并将其提供给我的神经网络。我必须逐行阅读。起初我使用 .readlines() 函数将整个文件加载到内存中，但这显然导致了内存不足的问题。接下来我没有将整个文件加载到内存中，而是逐行读取它，但它仍然没有工作。所以现在我正在考虑将我的文件拆分成更小的文件，然后读取每个文件。对于每个序列，我都有一个以“>”开头的文件格式，后跟一个序列，例如：

>seq1
acgtccgttagggtjhtttttttttt
tttsggggggtattttttttt

>seq2
accggattttttstttttttttaasftttttttt
stttttttttttttttttttttttsttattattat
tttttttttttttttt

>seq3
aa

.
.
.

>seqN
bbbbaatatattatatatatattatatat
tatatattatatatattatatatattatat
tatattatatattatatatattatatatatta
tatatatatattatatatatatatattatatat
tatatatattatatattatattatatatattata
tatatattatatattatatatattatatatatta

所以现在我想将包含 12700000 个序列的文件拆分为更小的文件，这样对于每个带有标题“>”的文件也有正确的对应序列。如何在 python 中实现这一点而不会遇到内存问题。见解将不胜感激。

Answer 1

我能够使用 12,700,000 行随机行来做到这一点，每行包含 1-20 个随机字符。虽然我的文件大小远小于 5GB（大约 300MB）——可能是由于格式问题。综上所述，你可以试试这个：

x = 0
y = 1
string = ""
cycle = "Seq1"
with open(f"{FILEPATH}/main.txt", "r") as file:
    for line in file:
        if line[0] == ">":
            if x % 5000 == 0 and x != 0:
                with open(f"{FILEPATH}/Sequence Files/Starting{cycle}.txt", "a") as newfile:
                    newfile.writelines(string)
                cycle = f"Seq{y*5000+1}"
                y += 1
                string = ""
            string += line
            x += 1
        if line[0] != ">":
            string += line
    with open(f"{FILEPATH}/Sequence Files/Starting{cycle}.txt", "a") as newfile:
            newfile.writelines(string)

这将逐行读取文件，将前 5000 个值附加到字符串，将字符串写入新文件，然后对原始文件的其余部分重复。它还将使用文件中的第一个序列命名文件。

读取if x % 5000 == 0: 的行是定义每个文件中序列数的行，cycle = "Seq" + str(y*5000+1) 行创建下一个文件名的格式。如果您改变对每个文件多少个序列的想法（您正在以这种方式创建 2,540 个新文件），您可以调整其中的 5000 个。