【发布时间】:2014-11-09 21:14:11
【问题描述】:
我需要将 24 个 pandas 数据帧(140 列 x 400 行) 导出到 Excel,每个都导出到不同的工作表中。
我正在使用 pandas' 内置 ExcelWriter。运行 24 个场景,需要:
写入.xls 文件需要 51 秒(使用 xlwt)
86 秒写入 .xlsx 文件(使用 XlsxWriter)
141 秒写入 .xlsm 文件(使用 openpyxl)
21 秒即可运行程序(无 Excel 输出)
写信给.xls 的问题是电子表格不包含格式化样式,所以如果我在 Excel 中打开它,选择一列,然后单击“逗号”按钮来格式化数字,它会告诉我:'找不到样式逗号'。我写信给.xlsx 没有遇到这个问题,但这更慢。
关于如何加快导出速度有什么建议吗? 我不可能是第一个遇到这个问题的人,但是在搜索论坛和网站数小时后,我还没有找到任何明确的解决方案。
我唯一能想到的就是用Python导出成csv文件,然后写一个Excel宏把所有的CSV合并成一个电子表格。
.xls 文件为 10 MB,.xlsx 为 5.2 MB
谢谢!
【问题讨论】:
-
我认为大小的差异源于excel和不同的文件格式,而不是写作方法。此外 - 您不需要 excel 宏来将 csvs 合并到电子表格中,使用 xlwt 编写脚本非常简单。
-
是的,当然,大小的差异取决于嵌入在 xlsx 格式中的压缩。那不是问题。问题是仅仅写入 5 MB 数据就需要 60 秒似乎过多。鉴于 Python 包对 Excel 的写入 pandas 数据帧是如此缓慢,他们会更快地将 csv 写入 Excel 吗?我还没有时间测试它,但我对此表示怀疑。我希望使用 Excel 和 VBA 合并 CSV 会更快。像导出几 MB 数据这样平庸的事情需要这么长时间,这有点令人沮丧……
-
所以,我已经运行了一些测试:加载 24 个 CSV 并将它们放到 Excel 文件的单独工作表中需要:Excel VBA 宏:5 秒。带有 xlsxWriter 的 Python 脚本:24 秒(34 秒,{'constant_memory': True},很奇怪)。也许最好的选择是从 Python 运行 VBA 宏,如以下示例所示:stackoverflow.com/questions/2141967/…stackoverflow.com/questions/441758/…
-
我现在没有代码,但我已经用 xlwt 编写了样式/格式。如果你有兴趣,我可以查一下。此外,请尝试在此处获取有关 xlwt 的更多信息:groups.google.com/forum/#!forum/python-excel
-
这是benchmark for different Python to Excel modules。确保在目标机器上运行它,因为它会受到 Python/模块版本、CPU、RAM 和磁盘 I/O 的影响。
标签: python excel pandas export output