如何快速有效地读取 Pandas 中的 html 表格？

Question

在 pandas 中读取小尺寸的 html 表是可以的，但是 10MB 范围内的大文件或 html 表中的 10000 行/记录让我等待 10 分钟仍然没有进展，而 csv 中的相同被快速解析。

请帮助加快在 pandas 中读取 html 表的速度，或将其转换为 csv。

file='testfile.html'
dfdefault = pd.read_html(file, header = 0, match='Client Inventory Details')
#print(dfdefault)
df = dfdefault[0]

Answer 1

HTML 数据集仍然是数据集。为了在 Pandas 中更快地读取大数据集，可以选择不同的策略，read_html 也一样：

1.抽样

2.分块

3.优化 Pandas dtypes

1. 采样。最简单的选择是对数据集进行抽样。

import pandas
import random

filename = "data.csv" 
n = sum(1 for line in open(filename))-1  # Calculate number of rows in file
s = n//10  # sample size of 10%
skip = sorted(random.sample(range(1, n+1), n-s))  # n+1 to compensate for header 
df = pandas.read_csv(filename, skiprows=skip)

1. 块/迭代 如果您确实需要处理所有数据，您可以选择将数据拆分为多个块（这些块本身确实适合内存）并对每个单独的块执行数据清理和特征工程

import pandas
from sklearn.linear_model import LogisticRegression
datafile = "data.csv"
chunksize = 100000
models = []
for chunk in pd.read_csv(datafile, chunksize=chunksize):
    chunk = pre_process_and_feature_engineer(chunk) 
    # A function to clean my data and create my features
    model = LogisticRegression()
    model.fit(chunk[features], chunk['label'])
    models.append(model)
df = pd.read_csv("data_to_score.csv")
df = pre_process_and_feature_engineer(df)
predictions = mean([model.predict(df[features]) for model in models], axis=0)

1. 优化数据类型 从文件加载数据时，Pandas 会自动推断数据类型。当然非常方便，但是，这些数据类型通常不是最优的，并且占用的内存比需要的多。我们将介绍 Pandas 使用的三种最常见的数据类型 —— int、float 和 object —— 并在查看示例时展示如何减少它们的内存印记。

另一种大幅减小 Pandas Dataframe 大小的方法是将 dtype Object 的列转换为类别。