按列遍历 csv

Question

我有一堆大的（约 400 万个值）csv 文件，我需要获取每一列并创建一个文件，以一种可以由不同程序解释的方式组织值。列的长度完全不同（200 万到 1000 个值之间），每个 csv 可能有 4 到 100 列。

我可以将整个内容加载到 pandas.DataFrame 中，然后遍历该系列，但这很慢：

import pandas as pd
import re
import os
for f in os.listdir(folder):
    gc = pd.read_csv('{}/{}'.format(folder, f))
    strain = f[:-7] # files have regular name structure, this just gets the name

    with open('{}.txt'.format(strain), 'w+') as out_handle:
        for column in gc:
            series = gc[column]
            for i in range(len(series))[::10]:
                pos = i + 1
                gc_cont = s[i]
                if pd.isnull(gc_cont):
                    continue
                out_handle.write('{} {}'.format(pos, gc_cont) 
                # I'm writing other info, but it's not important here 

也许用一百万 + NaN 值填充较小的列并将整个内容加载到内存中会产生很大的性能成本？无论如何，我认为逐列阅读会更有效率，但我找不到这样做的方法。

Pandas 可以做到chunk size (docs)，但这是对行进行分块。如果我逐行写入，我要么必须一次打开 4-100 个文件，要么多次遍历原始文件以写入每个单独的列。这些方法中的任何一种是否合适，或者我缺少什么？

Answer 1

usecols 选项到 read_csv 怎么样？此外，您可以考虑使用squeeze 选项来返回pandas.Series，如果您只使用单列，这可能会更快。类似的东西

cols = ['col0', 'col1', 'col2'] # the columns you want to load
for col in cols:
    data = pandas.read_csv(..., usecols=[col], squeeze=True)
    # format column data etc.

这里是文档

usecols：类数组

返回列的子集。结果是更快的解析时间和更低的内存使用量。

挤压：布尔值，默认为 False

如果解析后的数据只包含一列，则返回一个系列

Answer 2

最简单的方法可能是将整个文件读入 pandas df 并将每一列写入自己的文件。

import pandas as pd
import os

for f in os.listdir(folder):
    gc = pd.read_csv('{}/{}'.format(folder, f))
    strain = f[:-7]

    for col in gc.columns:
        temp = gc.col
        temp.to_csv('new_path'+strain+col)

这样，即使您有一个消耗内存的操作，您也只是将较大的帧拆分为列并创建自己的文件，这样会更容易处理。

Answer 3

如何将整个文件读入字符串并将其包装在 StringIO（或 BytesIO，取决于 Python 2/3）中？然后将其用作 csv 文件并每列迭代一次。

类似这样的：

with open('{}/{}'.format(folder, f)) as in_file:
    data = in_file.read()

for index in number_of_columns: # not sure how to derive this
    csv_file = csv.reader(StringIO.StringIO(data))
    for data_row in csv_file:
        # do what you want with data_row[index]

编辑：

这似乎并没有解决性能问题。根据您的 cmets，我认为提高性能的最佳方法是一次打开所有 4 到 100 个文件，并在您阅读时写入它们。我认为现代操作系统不会有任何问题。这在算法上是最简单的，而且还可以最大限度地减少内存使用。任何版本都需要它在读取和解析和写入方面所做的工作。我认为可能存在磁盘磁头争用的风险，但我猜我认为这不会成为问题。

我认为只有测试才能显示它是否工作得更快 - 这并不明显。

那就是这样的

with open('{}/{}'.format(folder, f)) as in_file:
    csv_file = csv.reader(in_file)

    # open up the files needed and put them into file_list 

    for data_row in csv_file:
        for index,datum in data_row:
            if datum != "":
                file_list[index].write(datum)

我没有完全模仿你的写作方案，但我相信你明白我的意思。显然你需要一种机制来找到正确数量的文件（也许看看第一行？），然后关闭它们等等。