Python Pandas to_csv 是否有最大行数？答案

【问题标题】：Does Python Pandas to_csv have max number of rows?Python Pandas to_csv 是否有最大行数？
【发布时间】：2017-04-24 22:50:59
【问题描述】：

我正在尝试将文本文件导出为 csv。该文件非常大（160 万行）制表符分隔文件。当我使用 to_csv 导出文件时，它只导出 1048576 行。 to_csv 导出的行数是否有上限？

我应该以不同的方式导出数据吗？我真的很希望能够将其转换为 csv。

这是我的代码示例。

import pandas as pd
import numpy as np
import os

from pandas import Series, DataFrame

pathDataEDM = "C:/Users/FILE.txt"

dataEDM = pd.read_csv(pathDataEDM, sep="\t")

dataEDM.to_csv(os.path.join(ExportDir),index=False)

【问题讨论】：

您是否验证过数据被正确读取？例如。 dataEDM.info() 报告的行数是否正确？
像 alexis 一样，我会检查导出停止位置附近的格式/解析错误。例如，如果您开始将 48576 行导出到文本文件中，您会得到 1048576 行，还是 1000000？

标签： python pandas export-to-csv

【解决方案1】：

Pandas 没有限制。但是，大多数用于打开 csv 文件的工具（如 LibreOffice calc 或 excel）最多只能显示 1048576 行。为了证明这一点，试试print(df)，所有 160 万行都会被 pandas 显示

【讨论】：

【解决方案2】：

我认为没有最大值（因为它没有记录，并且 160 万对于最大值来说非常低）。

您可以尝试指定以下可选参数（请参阅docs）：

chunksize : int 或 None 一次写入的行

压缩：字符串，可选 表示要在输出文件中使用的压缩的字符串，允许的值为‘gzip’, ‘bz2’, ‘xz’，仅在第一个参数是一个文件名

【讨论】：