加载前 100 行 excel

Question

我有一个非常大的 excel 文件，我只想加载前 100 行。看来pandas做的不是很好，在下面的命令中加载大约需要10秒：

pd.read_excel('excel/BigFile.xlsx', nrows=100)

这似乎与根本不传递 nrows 参数所花费的时间相同。有没有办法“快速”读取 excel 文件的前 100 行？如果不在 pandas 中，还有其他工具可以做得更好吗？

Answer 1

原因

pandas 在后台使用 xlrd 包来读取 excel 文件。 xlrd 的默认行为似乎是将整个 excel 工作簿加载到内存中，而不管最后读出的是什么数据。这可以解释为什么您在使用 pd.read_excel() 的 nrows 参数时注意到加载时间没有减少。

xlrd 确实提供了load worksheets on demand 的可能性，但不幸的是，如果您的所有数据都在一个非常大的 Excel 工作表中（另外，这个选项似乎不支持 @ 987654332@ 文件）。

解决方案

excel解析包openpyxl确实提供了load individual excel rows on demand的可能性（即只有需要的excel行被加载到内存中）。通过一点点自定义代码，openpyxl 可以用来将您的 excel 数据检索为 pandas 数据框：

import openpyxl
import pandas as pd


def read_excel(filename, nrows):
    """Read out a subset of rows from the first worksheet of an excel workbook.

    This function will not load more excel rows than necessary into memory, and is 
    therefore well suited for very large excel files.

    Parameters
    ----------
    filename : str or file-like object
        Path to excel file.
    nrows : int
        Number of rows to parse (starting at the top).

    Returns
    -------
    pd.DataFrame
        Column labels are constructed from the first row of the excel worksheet.

    """
    # Parameter `read_only=True` leads to excel rows only being loaded as-needed
    book = openpyxl.load_workbook(filename=filename, read_only=True, data_only=True)
    first_sheet = book.worksheets[0]
    rows_generator = first_sheet.values

    header_row = next(rows_generator)
    data_rows = [row for (_, row) in zip(range(nrows - 1), rows_generator)]
    return pd.DataFrame(data_rows, columns=header_row)


# USAGE EXAMPLE
dframe = read_excel('very_large_workbook.xlsx', nrows=100)

使用此代码加载 >100MB 单页 Excel 工作簿的前 100 行在我的机器上只需 pd.read_excel(nrows=100) 执行相同操作需要 >2 分钟。

Answer 2

sxl 模块是专门为此目的而创建的。获取工作表的前 100 行：

import sxl

wb = sxl.Workbook('myfile.xlsx')
ws = wb.sheets[1]  # this gets the first sheet
data = ws.head(100)