openpyxl 在只读模式下真的很慢！！如何改进我的脚本？

Question

我写了一个简单的例子。此脚本读取一个 excel 文件并仅从其中复制第一列中存在列表“ls”中指定的字符串之一的行。复制的行将粘贴到另一个 excel 文件中。在我的代码下方：

from datetime import datetime
import openpyxl

print("Current Time =", datetime.now().strftime("%H:%M:%S"))
src_wb = openpyxl.load_workbook("C:\\Users\\Admin\\Desktop\\database.xlsx")
print("Current Time =", datetime.now().strftime("%H:%M:%S"))
print("\n\n")

src_ws = src_wb[src_wb.sheetnames[0]]

dst_wb = openpyxl.Workbook()
dst_ws = dst_wb.active
dst_ws.title = "TEST"

dst_row_id, src_row_id = 0, 0 
ls = ["ciao", "hola", "hello"]
my_column_id = 1

for row in src_ws.rows:
    src_row_id += 1
    #print("Current Time =", datetime.now().strftime("%H:%M:%S"))

    for element in ls:
            if src_ws.cell(src_row_id, my_column_id).value == element:
                dst_row_id += 1
                dst_column_id = 0
                for cell in row:

                    dst_column_id += 1
                    dst_cell = dst_ws.cell(dst_row_id,column=dst_column_id)

                    dst_cell.value = cell.value
                break

dst_wb.save("test.xlsx")
dst_wb.close()

在输出下方：

λ python stack.py
Current Time = 19:36:38
Current Time = 19:37:20 <- after this point the script is quite fast

这段代码运行良好，但是当我的源 excel 文件很重时，指令 src_wb = openpyxl.load_workbook("C:\\Users\\Admin\\Desktop\\database.xlsx") 需要很多次。在我的示例中，“database.xlsx”文件有 177137 行和 14 列。打开它，openpyxl 需要 42 秒，但是当它必须读取行时，它似乎很快。

为了改善这种情况我尝试使用“只读”模式（openpyxl.load_workbook("C:\\Users\\Admin\\Desktop\\database.xlsx", read_only = True）但是这样脚本变得太慢了..它可以快速打开“database.xlsx”文件，但是在“复制和粘贴”非常慢（它太慢了，完成任务需要几个小时！）请参阅下面的输出：

λ python stack.py
Current Time = 19:37:47
Current Time = 19:37:52 <-- after this point the script is very slow

如何提高只读模式下的脚本性能？或者以另一种方式，我不知道.. 根据您的经验，改进我的代码的最佳解决方案是什么？

@Daniel Ocando：我的 excel 文件由简单的字符串组成。下面是一个例子：

Answer 1

您提供的代码具有三个嵌套的 for 循环（这通常意味着代码的时间复杂度为 O(n3)）。我设法删除了其中一个 for 循环，因此将时间复杂度降低到 O(n2)。

您可以利用sets are generally faster than lists regarding membership tests 并将ls = ["ciao", "hola", "hello"] 列表更改为set。

最后，您可以利用write_only mode 来尝试加快写作速度。

考虑到单元格只包含一个带有简单单词的字符串，您可以尝试以下代码并检查性能是否有所提高：

from datetime import datetime
import openpyxl

def get_list(row):
    list_for_row_values = []
    for cell in row:
        list_for_row_values.append(cell.value)
    return list_for_row_values

print("Current Time =", datetime.now().strftime("%H:%M:%S"))
src_wb = openpyxl.load_workbook("C:\\Users\\Admin\\Desktop\\database.xlsx", read_only=True)
print("Current Time =", datetime.now().strftime("%H:%M:%S"))
print("\n\n")

src_ws = src_wb[src_wb.sheetnames[0]]

dst_wb = openpyxl.Workbook(write_only=True)
dst_ws = dst_wb.create_sheet()

ls = ("ciao", "hola", "hello")

for row in src_ws.rows:
    if(row[0].value) in ls:
        list_for_row_values = get_list(row)
        dst_ws.append(list_for_row_values)

dst_wb.save("test.xlsx")