用于追加和创建 pandas 数据帧的快速 numpy 数组结构

Question

我花了几个小时想出最有效的方法来构建流动的刻度数据并将其附加到 shared memory numpy 数组，然后及时获得 pandas DataFrame。 p>

#source tick data comes in as dict
tick_data = {"bid": float(1.2), "ask": float(1.3), "time": datetime.datetime.now()}


#construct np array
dtype_conf = [('bid', '<f4'), ('ask', '<f4'), ('time', 'datetime64[us]')]
new_tick = np.array([(11.11, 22.22, now)], dtype=dtype_conf)

#append / vstack / .. it to existing shared numpy array
shared_np_array = np.vstack((shared_np_array, new_tick))

#fast construction of pd.DataFrame if needed 
pd.DataFrame(shared_np_array.reshape((1,-1))[0])

问题：

1) 构建我的数组并（更快地）向其中添加新的刻度数据的正确方法是什么？

2) 为完整数组创建 pd.DataFrame 或为列创建 pd.Series 最有效的方法是什么？

3) 有没有更好的方法在 python 中处理共享内存时间序列（除了 multiprocessing.basemanager）？

非常感谢！

Answer 1

numpy 不是追加数据的好选择。

python中最通用的选择是collections.deque，它针对在列表的开头或结尾插入项目进行了优化。

这就是您的代码的外观：

import pandas as pd, numpy as np
import datetime
from collections import deque

now = datetime.datetime.now()
lst_d = deque()

#source tick data comes in as dict
tick_data = {"bid": float(1.2), "ask": float(1.3), "time": now}

#construct np array
dtype_conf = [('bid', '<f4'), ('ask', '<f4'), ('time', 'datetime64[us]')]
new_tick = np.array([(11.11, 22.22, now)], dtype=dtype_conf)

# existing deque object named lst_d
lst_d.append(list(new_tick))

# example of how your deque may look
lst_d = deque([[1, 2, 'time1'], [3, 4, 'time3'], [4, 5, 'time4']])

#fast dataframe construction
print(pd.DataFrame(list(lst_d), columns=['bid', 'ask', 'time']))

#    bid  ask   time
# 0    1    2  time1
# 1    3    4  time3
# 2    4    5  time4

不知道为什么reshape 需要numpy 数组：

# example of how your deque may look
lst_d = np.array([[1, 2, 'time1'], [3, 4, 'time3'], [4, 5, 'time4']])

#fast dataframe construction
print(pd.DataFrame(lst_d, columns=['bid', 'ask', 'time']))

#    bid  ask   time
# 0    1    2  time1
# 1    3    4  time3
# 2    4    5  time4