Pandas：根据前一行的线性回归计算新列答案

【问题标题】：Pandas : Compute a new column based on linear regression of previous rowPandas：根据前一行的线性回归计算新列
【发布时间】：2021-09-11 17:09:09
【问题描述】：

我的数据框如下所示：

   date       Temperature  consumption
0    2020-12-01   8.0125   109.046450
1    2020-12-02   6.1500   104.494946
2    2020-12-03   5.9375   117.011582
3    2020-12-04   5.4750   109.615388
4    2020-12-05   3.8500   142.803438
5    2020-12-06   2.0500   158.638879
6    2020-12-07   0.1250    86.194107
7    2020-12-08   1.4750   121.847555
8    2020-12-09   2.4250    99.658973
10   2020-12-11   3.4250    76.806630
11   2020-12-12   7.5375    83.064948
12   2020-12-13   5.6750    82.401187
13   2020-12-14   9.9250    58.695437
14   2020-12-15   9.2875    64.574463
15   2020-12-16   7.0250    68.367383
16   2020-12-17   8.9125    84.487293
17   2020-12-18   8.6875    69.031144
18   2020-12-19   8.9500    65.048578
19   2020-12-20   8.6000    91.911185
20   2020-12-21   8.7625    60.022959
21   2020-12-22  12.7375    40.489421
22   2020-12-23  11.9875    43.049642
23   2020-12-24   6.1625   108.761981
24   2020-12-25   3.6875   105.727645
25   2020-12-26   3.8625   108.003397

我想创建一个名为“slope15”的新列，其值为前 15 行的线性回归 'consumption~Temperature' 的斜率。我怎样才能做到这一点？我尝试使用 .shift(15) 和 stats.linregress() 但没有按预期工作。

Tyvm

【问题讨论】：

你想对前 14 个值做什么？
我可以删除前 14 行或用 NA 填充它。这并不重要，因为我的数据框有数百行

标签： python pandas regression shift

【解决方案1】：

您可以使用rolling 窗口并应用linregress：

# the function to apply
def find_slope(s):
    return linregress(x=df.loc[s.index, "Temperature"],
                      y=df.loc[s.index, "consumption"]).slope

# roll
df["slope15"] = df.Temperature.rolling(15).apply(find_slope)

我们滚动Temperature 列只是为了得到一个滚动索引，即我们不使用s 传递给find_slope 直接但是我们利用它的索引来获取来自原始数据框df 的所需值；然后linregress 找到斜率，

得到

>>> df

          date  Temperature  consumption   slope15
0   2020-12-01       8.0125   109.046450       NaN
1   2020-12-02       6.1500   104.494946       NaN
2   2020-12-03       5.9375   117.011582       NaN
3   2020-12-04       5.4750   109.615388       NaN
4   2020-12-05       3.8500   142.803438       NaN
5   2020-12-06       2.0500   158.638879       NaN
6   2020-12-07       0.1250    86.194107       NaN
7   2020-12-08       1.4750   121.847555       NaN
8   2020-12-09       2.4250    99.658973       NaN
10  2020-12-11       3.4250    76.806630       NaN
11  2020-12-12       7.5375    83.064948       NaN
12  2020-12-13       5.6750    82.401187       NaN
13  2020-12-14       9.9250    58.695437       NaN
14  2020-12-15       9.2875    64.574463       NaN
15  2020-12-16       7.0250    68.367383 -5.112766
16  2020-12-17       8.9125    84.487293 -5.514602
17  2020-12-18       8.6875    69.031144 -5.801025
18  2020-12-19       8.9500    65.048578 -6.062590
19  2020-12-20       8.6000    91.911185 -5.696331
20  2020-12-21       8.7625    60.022959 -5.310357
21  2020-12-22      12.7375    40.489421 -4.192492
22  2020-12-23      11.9875    43.049642 -5.542047
23  2020-12-24       6.1625   108.761981 -5.182578
24  2020-12-25       3.6875   105.727645 -5.790770
25  2020-12-26       3.8625   108.003397 -7.458946

【讨论】：

@MikeTomaino 谢谢你，迈克，你的也很优雅。我正要支持你的，但是当我运行你的代码时，它在最后一行给出了NaN，但还不明白为什么。可能会差 1 分，你能明白为什么吗？无论哪种方式，都需要投票:)
很抱歉缺少索引 9。它不会发生在我的真实数据框中。一天都不会缺席。 @MustafaAydın 顺便说一句，您的解决方案很棒；）

【解决方案2】：

我不喜欢迭代，但在这里我想不出更优雅的方式。我能够完成这项工作：

from scipy import stats

df['slope15'] = np.nan

for i in np.arange(15, df.shape[0]):
    slope, intercept, r, p, se = stats.linregress(
        df.loc[i-15:i, 'Temperature'],
        df.loc[i-15:i, 'consumption']
    )
    df.loc[i, 'slope15'] = slope

【讨论】：

@epsilon 的数据在索引中跳过了 9，因此您可以将 loc 转换为 iloc 来处理 Mike（列名也需要它们的整数索引；或者自动使用 @987654324 @ 例如）。
很抱歉缺少索引 9。它不会发生在我的真实数据框中。一天都不会缺席