【问题标题】:Python: fastest way to write pandas DataFrame to Excel on multiple sheetsPython:在多张工作表上将 Pandas DataFrame 写入 Excel 的最快方法
【发布时间】:2014-11-09 21:14:11
【问题描述】:

我需要将 24 个 pandas 数据帧(140 列 x 400 行) 导出到 Excel,每个都导出到不同的工作表中。

我正在使用 pandas' 内置 ExcelWriter。运行 24 个场景,需要:

写入.xls 文件需要 51 秒(使用 xlwt

86 秒写入 .xlsx 文件(使用 XlsxWriter

141 秒写入 .xlsm 文件(使用 openpyxl

21 秒即可运行程序(无 Excel 输出)

写信给.xls 的问题是电子表格不包含格式化样式,所以如果我在 Excel 中打开它,选择一列,然后单击“逗号”按钮来格式化数字,它会告诉我:'找不到样式逗号'。我写信给.xlsx 没有遇到这个问题,但这更慢。

关于如何加快导出速度有什么建议吗? 我不可能是第一个遇到这个问题的人,但是在搜索论坛和网站数小时后,我还没有找到任何明确的解决方案。

我唯一能想到的就是用Python导出成csv文件,然后写一个Excel宏把所有的CSV合并成一个电子表格。

.xls 文件为 10 MB,.xlsx 为 5.2 MB

谢谢!

【问题讨论】:

  • 我认为大小的差异源于excel和不同的文件格式,而不是写作方法。此外 - 您不需要 excel 宏来将 csvs 合并到电子表格中,使用 xlwt 编写脚本非常简单。
  • 是的,当然,大小的差异取决于嵌入在 xlsx 格式中的压缩。那不是问题。问题是仅仅写入 5 MB 数据就需要 60 秒似乎过多。鉴于 Python 包对 Excel 的写入 pandas 数据帧是如此缓慢,他们会更快地将 csv 写入 Excel 吗?我还没有时间测试它,但我对此表示怀疑。我希望使用 Excel 和 VBA 合并 CSV 会更快。像导出几 MB 数据这样平庸的事情需要这么长时间,这有点令人沮丧……
  • 所以,我已经运行了一些测试:加载 24 个 CSV 并将它们放到 Excel 文件的单独工作表中需要:Excel VBA 宏:5 秒。带有 xlsxWriter 的 Python 脚本:24 秒(34 秒,{'constant_memory': True},很奇怪)。也许最好的选择是从 Python 运行 VBA 宏,如以下示例所示:stackoverflow.com/questions/2141967/…stackoverflow.com/questions/441758/…
  • 我现在没有代码,但我已经用 xlwt 编写了样式/格式。如果你有兴趣,我可以查一下。此外,请尝试在此处获取有关 xlwt 的更多信息:groups.google.com/forum/#!forum/python-excel
  • 这是benchmark for different Python to Excel modules。确保在目标机器上运行它,因为它会受到 Python/模块版本、CPU、RAM 和磁盘 I/O 的影响。

标签: python excel pandas export output


【解决方案1】:

不管怎样,这就是我在 xlwt 中格式化输出的方式。文档(或至少是)参差不齐,所以我不得不猜测其中的大部分内容!

import xlwt

style = xlwt.XFStyle()
style.font.name = 'Courier'
style.font.height = 180
style.num_format_str = '#,##0'

# ws0 is a worksheet
ws0.write( row, col, value, style )

另外,我相信我在尝试将生成的电子表格格式化为 excel(Office 2010 版本)时重复了您的错误消息。这很奇怪,但有些下拉工具栏格式选项有效,有些则无效。但是,如果我通过右键单击“格式化单元格”,它们看起来都可以正常工作。

【讨论】:

    【解决方案2】:

    这是benchmark for different Python to Excel modules

    这是发布时使用最新版本模块的 140 列 x (400 x 24) 行的输出:

    Versions:
        python      : 2.7.7
        openpyxl    : 2.0.5
        pyexcelerate: 0.6.3
        xlsxwriter  : 0.5.7
        xlwt        : 0.7.5
    
    Dimensions:
        Rows = 9600 (400 x 24)
        Cols = 140
    
    Times:
        pyexcelerate          :  11.85
        xlwt                  :  17.64
        xlsxwriter (optimised):  21.63
        xlsxwriter            :  26.76
        openpyxl   (optimised):  95.18
        openpyxl              : 119.29
    

    与任何基准测试一样,结果将取决于 Python/模块版本、CPU、RAM 和磁盘 I/O 以及基准测试本身。因此,请务必为您自己的设置验证这些结果。

    另外,由于您专门询问了 Pandas,请注意 PyExcelerate isn't supported

    【讨论】:

    • 我认为 pyexcelerate 已经过时并且多年前已被纳入 xlwt。这是一个新版本和/或与旧的 pyexcelerate 无关?
    • 那是 PyExcelerator。 PyExcelerate 是一个不同的无关模块。令人困惑。
    猜你喜欢
    • 1970-01-01
    • 2021-04-16
    • 2020-09-30
    • 1970-01-01
    • 1970-01-01
    • 2020-08-28
    • 2018-03-26
    • 1970-01-01
    • 2019-07-06
    相关资源
    最近更新 更多