无法使用 Openpyxl 复制大型 Excel 文件

Question

我有一个 9000 行 x 30 列的 Excel 文件，其中包含我想从一个 Excel 工作簿复制到另一个工作簿的内容。然而，我面临的问题是，当我运行我的代码时，它永远不会停止运行。更重要的是，内存使用率一直在上升，直到它使用了我笔记本电脑可用内存的 90%-98% (screenshot)。

我尝试使用timeit 来查看我的代码有多慢，但即使这样也不会执行。我拒绝相信这是我的 Excel 文件的大小，所以它一定是我的代码的问题。我无法准确指出它可能是什么，因为我对openpyxl 的经验非常有限，因此非常感谢任何建议。我正在使用openpyxl 3.0.4 和Python 3.8.7。

def copy(source, destination):
    # Open source workbook
    wb1 = load_workbook(source)
    ws1 = wb1.worksheets[0]

    # Open destination workbook
    wb2 = load_workbook(destination)
    ws2 = wb2.active

    # Get rows and columns of source
    max_rows = ws1.max_row
    max_columns = ws1.max_column

    # Copy cells from source to destination
    for i in range(1, max_rows + 1):
        for j in range(1, max_columns + 1):
            # Read from source
            c = ws1.cell(row=i, column=j)

            # Write to destination file
            ws2.cell(row=i, column=j).value = c.value

    # Save source
    wb2.save(str(destination))

copy_src = r"C:\Users\username\Documents\copy_from.xlsx"
copy_dst = r"C:\Users\username\Documents\copy_to.xlsx"
time = timeit.timeit('%s' % copy(copy_src, copy_dst))
print("Execution time for copy(): %f seconds" % time)

Answer 1

工作表不大。如果工作簿是 261 MB（请在描述中包含此信息），那么它必须包含许多 openpyxl 正在读入内存的非常大的对象。对于复制来说，只读模式就足够了。

Answer 2

Excel 文件有多大？不是按行/列，而是按磁盘大小？每当我过去使用 openpyxl 时，我总是遇到“空的、格式化的单元格”的问题，您可以通过将 excel 文件打开为 XML 来更清楚地看到这些问题：(How to view the XML form of an Excel file?)。

最简单的修复方法是打开源 excel 文件（在 Excel 中），选择所有空白单元格并使用工具栏中的“全部清除”按钮，或者直接点击删除通常也可以。