从对象列表构建 dataFrame 花费的时间太长

Question

我正在提取大量数据。它以对象列表的形式出现。

示例：[[objectA,objectB],[objectC],[],[ObjectD]...]

每个对象都有很多属性，但是对于我的数据框，我只需要名称、值、时间戳、描述。 我尝试了两件事：

for events in events_list:
    if len(events) > 0:
       for event in events:
           df = DataFrame([])
           df['timestamp'] = event.timestamp
           df['value'] = event.value
           df['name'] = event.name
           df['desc'] = event.desc
           final_df = final_df.append(df)

完成此过程大约需要 15 分钟。

我将代码更改为使用 python 列表：

df_list = list()
for events in events_list:
    if len(events) > 0:
       for event in events:
           df_list.append([event.timestamp, event.value, event.name, event.desc])
final_df = pd.DataFrame(df_list, columns=['timestamp', 'value', 'name', 'desc'])

通过此更改，我设法将时间减少到大约 ~10-11 分钟。

我仍在研究是否有更快的方法。在我使用 python list 进行更改之前，我尝试了字典，但它比我预期的要慢。目前我正在阅读看起来非常快的 Panads 矢量化，但是我不确定是否可以将它用于我的目的。 我知道 Python 循环有点慢，我对它们无能为力，所以我也在想办法在数据帧中执行这些循环。

我的问题是，你们之前有没有解决过这个问题，有没有更好的方法来解决这个问题？

编辑： 有关于数据的问题。它通过一个 API 来构造，因为每组对象都按名称分组。例如：

[[objectA, objectB (都同名)],[objectC],[EMPTY - 没有 此名称的数据],[ObjectD]...]

因为我无法改变获取数据的方式，所以我必须使用这种数据结构。

Answer 1

初始方法中计算量大的操作是追加 - 每次使用 final_df.append(df) 时，您都在创建一个全新的（并且每次迭代都更大！）数据帧。相反，将所有数据框聚合到一个列表中并使用pd.concat(df_list)。

为了比这更快，您可能需要考虑在某种程度上使用多处理，无论是通过标准 python 多处理库还是通过框架 - 我推荐 Dask。

编辑：附言 如果您的数据最初是 csv/excel/parquet 或 pandas 支持的其他格式，您可以使用 pandas 以非常有效的方式一次加载所有数据。即使您的事件包含不必要的列，加载整个数据集然后过滤掉冗余列也会快得多。

Answer 2

这样的事情怎么样？

import datetime
import itertools as itt
import operator
import random
from dataclasses import dataclass

import pandas as pd


# DUMMY DATA SETUP

@dataclass
class Obj:
    name: str
    timestamp: datetime.datetime
    value: int
    desc: str


group_lens = [random.randint(0, 1000) for _ in range(200000)]
event_count = 1

events = []
for curr_group_len in group_lens:
    curr_group = []
    for _ in range(curr_group_len):
        curr_group.append(
            Obj(f"event_{event_count}", datetime.datetime.now(), random.randint(-100, 100), f"event_{event_count} desc"))
        event_count += 1
    events.append(curr_group)

# DATAFRAME CREATION

cust_getter = operator.attrgetter('name', 'timestamp', 'value', 'desc')

df = pd.DataFrame(data=(cust_getter(elem) for elem in itt.chain.from_iterable(events)))

我在 10,006,766 个元素的二维列表上对其进行了测试，只用了 9 秒。

Answer 3

我使用生成器找到了我的问题的答案： 这是一个指向另一个线程的链接，该线程专门用于确定如何从 python 生成器列表中创建数据框。在那里，我们找到了一种从这个线程解决问题的方法： Create Pandas Dataframe from List of Generators

总结一下，我替换了这个：

for events in events_list:
    if len(events) > 0:
       for event in events:
           for record in event:
               df_list.append([record.timestamp, record.value, record.name, record.desc])
final_df = pd.DataFrame(df_list, columns=['timestamp', 'value', 'name', 'desc'])

有了这个：

data= (record.Timestamp, record.Value, record.Name, record.desc) 
                for events in events_list for event in events for record in event)

dataframe = pd.DataFrame(data, columns=["timestamp", "value", "name", "desc])

使用列表理解，我通过将列表构建为一个整体而不是连续追加来节省大量时间。

测试 1500 万条记录（包括创建 DF）：

使用 for 循环添加列表 = 16 分钟

list_comprehension = 3 分钟

我将在接下来的几天内继续使用不同数量的数据对此进行测试。