数据帧列表中的慢熊猫系列初始化

Question

我发现如果我们从 DataFrames 列表中初始化 pandas Series 对象会非常慢。例如。以下代码：

import pandas as pd
import numpy as np

# creating a large (~8GB) list of DataFrames.
l = [pd.DataFrame(np.zeros((1000, 1000))) for i in range(1000)]

# This line executes extremely slow and takes almost extra ~10GB memory. Why?
# It is even much, much slower than the original list `l` construction.
s = pd.Series(l)

最初我认为 Series 初始化不小心深度复制了 DataFrames，这使它变慢，但结果证明它只是像 python 中通常的 = 那样通过引用复制。

另一方面，如果我只是创建一个系列并手动浅复制元素（在 for 循环中），它会很快：

# This for loop is faster. Why?
s1 = pd.Series(data=None, index=range(1000), dtype=object)
for i in range(1000):
    s1[i] = l[i]

这里发生了什么？

实际使用：我有一个表加载器，它读取磁盘上的内容并返回一个 pandas DataFrame（一个表）。为了加快阅读速度，我使用了一个并行工具（来自this answer）来执行多次读取（例如，每次读取都针对一个日期），并返回一个（表）列表。现在我想将此列表转换为具有适当索引的 pandas Series 对象（例如，读取中使用的日期或文件位置），但是 Series 构造需要大量时间（如上面显示的示例代码）。我当然可以把它写成一个 for 循环来解决这个问题，但这会很丑陋。此外，我想知道这里真正花时间的是什么。有什么见解吗？

Answer 1

这不是对 OP 问题的直接回答（从数据帧列表构建系列时导致速度变慢的原因）：

我可能错过了使用pd.Series 存储数据帧列表的一个重要优势，但是如果这对下游流程并不重要，那么更好的选择可能是将其存储为数据帧字典或连接到单个数据框。

对于数据帧的字典，可以使用如下内容：

d = {n: df for n, df in enumerate(l)}
# can change the key to something more useful in downstream processes

对于连接：

w = pd.concat(l, axis=1)
# note that when using with the snippet in this question
# the column names will be duplicated (because they have
# the same names) but if your actual list of dataframes
# contains unique column names, then the concatenated
# dataframe will act as a normal dataframe with unique
# column names