加快 Pandas 中自回归项的创建速度？答案

【问题标题】：Speeding up the creation of autoregressive terms in Pandas?加快 Pandas 中自回归项的创建速度？
【发布时间】：2016-12-13 02:31:04
【问题描述】：

我有一个看起来像这样的 Pandas 数据框：

groupvar1 groupvar2 time value
1         1         1    5
1         1         2    8
1         1         3    9
1         1         4    12
1         1         5    19
1         2         1    5
1         2         2    8
1         2         3    9

我想在每个groupvar1 x groupvar2 组合中创建一些自回归项，这样我最终得到：

groupvar1 groupvar2 time value t1 t2 t3
1         1         1    5     5  5  5
1         1         2    8     5  5  5
1         1         3    9     8  5  5
1         1         4    12    9  8  5
1         1         5    19    12 9  8
1         2         1    5     5  5  5
1         2         2    8     5  5  5
1         2         3    9     8  5  5

基本上，我在groupby 对象的每个组中创建三个自回归项t1、t2、t3。如果结果是NaN，我从当前值回填。我的代码是：

for name, group in df.groupby(['groupvar1', 'groupvar2']):
    for i in range(1, 4):
            group.loc[:,'t' + str(i)] = group.sort_values(by=['time'])['value'].shift(i).fillna(method='ffill').fillna(method='bfill').values

问题在于，在大型数据集上，这非常慢。有没有办法使用可能比这更快的内置 Pandas 方法？例如，改用.apply？

【问题讨论】：

您能否更清楚地了解如何计算 t1、t2 和 t3。我看到你的代码是如何生成数据的，但是用简单的英语来说，这些数据代表什么？我不明白您所说的“自回归”是什么意思。
@Alex - 基本上，t1 将是 value time - 1。t2 将是 value time - 2（因此使用 Pandas .shift()。这更有意义吗？

标签： python performance pandas optimization dataframe

【解决方案1】：

您不需要弄乱 groupby 对象。最后，看起来您的条件是 groupvar2 单元格应该等于 groupvar2 单元格 i 后面的元素。这可以满足您的需求：

import pandas as pd
groupvar1 = pd.Series([1]*8, name='groupvar1')
groupvar2 = pd.Series([1,1,1,1,1,2,2,2], name='groupvar2')
time = pd.Series([1,2,3,4,5,1,2,3], name='time')
value = pd.Series([5,8,9,12,19,5,8,9], name='value')
df = pd.concat([groupvar1, groupvar2, time, value], axis=1)
data = [df]
for i in range(1,4):
    temp = df.loc[df['groupvar2'] == df['groupvar2'].shift(-i)]['value']
    temp.name = 't' + str(i)
    data.append(temp.reindex_like(df).shift(i))
res = pd.concat(data, axis=1).bfill()
print(res)

   groupvar1  groupvar2  time  value    t1   t2   t3
0          1          1     1      5   5.0  5.0  5.0
1          1          1     2      8   5.0  5.0  5.0
2          1          1     3      9   8.0  5.0  5.0
3          1          1     4     12   9.0  8.0  5.0
4          1          1     5     19  12.0  9.0  8.0
5          1          2     1      5   5.0  5.0  NaN
6          1          2     2      8   5.0  5.0  NaN
7          1          2     3      9   8.0  5.0  NaN

尽管由于 shift 的工作方式，您应该在最后仔细检查数据（请注意，最后一列的末尾有 NaN）。

【讨论】：