我有一个包含 6 列数据（制表符作为分隔符）的巨大文本文件（超过 100 个演出）。在第一列中，我有整数值（集合中有 2500 个不同的值）。我需要根据第一列中的值将此文件拆分为多个较小的文件（请注意，行未排序）。这些较小的文件中的每一个都将用于在 matlab 中准备绘图。
我只有 8 GB 的内存。
问题是如何有效地做到这一点？有什么想法吗？
【问题讨论】：
使用 bash：
cat 100gigfile | while read line; do
intval="$( echo "$line" | cut -f 1)"
chunkfile="$( printf '%010u.txt' "$intval" )"
echo "$line" >> "$chunkfile"
done
这会将您的 100 gig 文件拆分为（如您所说）根据第一个字段的值命名的 2500 个单独的文件。您可能需要根据自己的喜好调整 printf 的格式参数。
【讨论】：
cut 和一个printf 进程，并将为每一行打开和关闭"$chunkfile"。对于 100gig 文件来说似乎效率不高。
使用 bash+awk 的单行代码：
awk '{print $0 >> $1".dat" }' 100gigfile
这会将大文件的每一行附加到一个名为第一列的值+“.dat”扩展名的文件中，例如12 aa bb cc dd ee ff 行将转到 12.dat 文件。
【讨论】：
对于 linux 64 位（我不确定它是否适用于 windows），您可以映射文件，并将块复制到新文件。我认为这是最有效的方法。
【讨论】：
最有效的方法是逐块，一次打开所有文件，并重新使用读取缓冲区进行写入。由于提供了信息，因此数据中没有其他模式可用于加速。
您将在不同的文件描述符中打开每个文件，以避免打开和关闭每一行。在开始时或在你去的时候懒洋洋地打开它们。在完成之前关闭它们。大多数 linux 发行版默认只允许打开 1024 个文件，所以你必须提高限制，比如使用ulimit -n 2600，前提是你有权这样做（另请参阅/etc/security/limits.conf）。
分配一个缓冲区，比如几个 kb，然后从源文件中原始读取到其中。迭代并保留控制变量。每当您到达结束行或缓冲区末尾时，就会从缓冲区写入正确的文件描述符。您必须考虑一些边缘情况，例如当读取获得换行符但不足以确定应该进入哪个文件时。
如果您计算出最小行大小，您可以反向迭代以避免处理缓冲区的前几个字节。这将被证明有点棘手，但仍然会加快速度。
我想知道非阻塞 I/O 是否可以解决此类问题。
【讨论】：
显而易见的解决方案是每次遇到新值时打开一个新文件，并保持打开状态直到结束。但是您的操作系统可能不允许您一次打开 2500 个文件。所以如果你只需要这样做一次，你可以这样做：
list[StartIndex] 到 list[StartIndex+99]。list[StartIndex] <= value <= list[StartIndex+99] 输出这些记录。StartIndex上加100，如果还没有完成，请转到第3步。所以你需要 26 次遍历文件。
【讨论】：
在你的外壳中...
$ split -d -l <some number of lines> Foo Foo
这会将一个大文件Foo 拆分为Foo1 到FooN，其中n 由原始文件中的行数除以您提供给-l 的值确定。循环遍历各个部分...
编辑...评论中的要点...此脚本（如下）将逐行读取，根据第一个字段分类并分配给文件...
#!/usr/bin/env python
import csv
prefix = 'filename'
reader = csv.reader(open('%s.csv' % prefix, 'r'))
suffix = 0
files = {}
# read one row at a time, classify on first field, and send to a file
# row[0] assumes csv reader does *not* split the line... if you make it do so,
# remove the [0] indexing (and strip()s) below
for row in reader:
tmp = row[0].split('\t')
fh = files.get(tmp[0].strip(), False)
if not fh:
fh = open('%s%05i.csv' % (prefix, suffix), 'a')
files[tmp[0].strip()] = fh
suffix += 1
fh.write(row[0])
for key in files.keys():
files[key].close()
【讨论】：
split 不会这样做。