如何正确地将每个大块数据保存为熊猫数据框并将它们相互连接

Question

我有一个包含超过 400K 行和数百列的数据框，我决定用块读取它们，因为它不适合内存并给我 MemoryError。

我已经设法以这样的方式阅读它：

x = pd.read_csv('Training.csv', chunksize=10000)

然后我可以通过这样做得到每个块：

a = x.get_chunk()
b = x.get_chunk()

etc 等继续这样做超过 40 次，这显然是缓慢和糟糕的编程习惯。

当我尝试执行以下操作以尝试创建一个可以将每个块保存到数据帧中并以某种方式连接它们的循环时：

for x in pd.read_csv('Training.csv', chunksize=500):
    x.get_chunk()

我明白了：

AttributeError: 'DataFrame' object has no attribute 'get_chunk'

在导入过程中读取文件并连接所有块的最简单方法是什么？

另外，我如何对我的数据集进行进一步操作以避免内存错误问题（特别是，输入空值、标准化/规范化数据帧，然后使用 scikit learn 在其上运行机器学习模型？

Answer 1

当您在对 pandas.read_csv 的调用中指定 chunksize 时，您会得到一个 pandas.io.parsers.TextFileReader 对象而不是 DataFrame。试试这个来遍历块：

reader = pd.read_csv('Training.csv',chunksize=500)
for chunk in reader:
    print(type(chunk)) # chunk is a dataframe

或者抓住所有的块（这可能不会解决你的问题！）：

reader = pd.read_csv('Training.csv',chunksize=500)
chunks = [chunk for chunk in reader] # list of DataFrames

根据数据集中的内容，减少内存使用的一个好方法是确定可以转换为分类数据的列。任何不同值的数量远低于行数的列都是此选项的候选者。假设一列包含某种具有有限值的状态（例如'Open'、'Closed'、'On hold'），这样做：

chunk['Status'] = chunk.assign(Status=lambda x: pd.Categorical(x['Status']))

现在这将只为每一行存储一个整数，并且 DataFrame 将保存一个映射（例如 0 = 'Open'、1 = 'Closed 等）

您还应该查看您的任何数据列是否是冗余的（它们实际上包含相同的信息） - 如果有，则删除它们。我见过包含日期的电子表格，人们在其中生成了年、周、日的列，因为他们发现使用起来更容易。摆脱他们！