我有一个 CSV 格式的大文件。由于它是一个大文件（将近 7 GB），因此无法转换为 pandas 数据帧。
将熊猫导入为 pd df1 = pd.read_csv('tblViewPromotionDataVolume_202004070600.csv', sep='\t', iterator=True, chunksize=1000) 对于 df1 中的块： 打印（块）
df1 的类型是 pandas.io.parsers.TextFileReader
现在我想在此文件中编辑/添加/插入一些文本（新行），并将其转换回 pandas 数据框。请让我知道可能的解决方案。提前致谢。
【问题讨论】：
这里是DataFrame 称为块，所以处理使用它，最后写入文件使用DataFrame.to_csv 和mode='a' 用于追加模式：
import pandas as pd
import os
infile = 'tblViewPromotionDataVolume_202004070600.csv'
outfile = 'out.csv'
df1 = pd.read_csv(infile, sep='\t', iterator=True, chunksize=1000)
for chunk in df1:
print (chunk)
#processing with chunk
# https://stackoverflow.com/a/30991707/2901002
# if file does not exist write header with first chunk
if not os.path.isfile(outfile):
chunk.to_csv(, sep='\t')
else: # else it exists so append without writing the header
chunk.to_csv('out.csv', sep='\t', mode='a', header=False)
【讨论】：
pd.read_csv(infile, sep='\t', iterator=True, chunksize=1000) 更改为 pd.read_csv(infile, sep='\t', iterator=True, chunksize=1000, names=['a',b','c','d','e'])？