如何在 python 中使用标题对非常大的 .csv 文件进行洗牌？答案

【问题标题】：How to shuffle very large .csv files with headers in python?如何在 python 中使用标题对非常大的 .csv 文件进行洗牌？
【发布时间】：2021-07-12 00:15:07
【问题描述】：

基于this的帖子，使用shuf是最快的方式：

import sh
sh.shuf("words.txt", out="shuffled_words.txt")

但是，此代码也会对标头进行洗牌。我的文件有一个标题，我不希望标题在数据中随机播放。

【问题讨论】：

【解决方案1】：

将文件内容复制到另一个不带标题的文件中：

with open("words.txt") as infile, open("words-nohead.txt", "w") as outfile:
    for i,line in enumerate(infile):
        if i: outfile.write(line)

然后打乱无头文件。然后将第一个文件的第一行和无头文件复制到 shuffled_words.txt 中（我认为你可以使用sh.cat()）并删除中间文件。

实际上，您不需要 Python。仅 Bash 就足够了：

head -n 1 words.txt > shuffled_words.txt    
tail -n+2 words.txt | shuf >> shuffled_words.txt

请记住，shuf 无论如何都会读取内存中的整个文件。您必须有足够的内存来存储该文件。

【讨论】：