熊猫使用日期减去一些天数来连接历史数据

Question

我有一个数据框，其中一列是日期（即5/29/2007），然后是 col A 和 col B 以及其他几列。 col A 和 col B 的日期和值唯一标识该行。我想将列添加到数据框中，这些列是其他列（不是 A 或 B）的历史值。例如我有一些行。称它为行i，它对col D 有一些价值。我想在数据框中添加一列，该列对应于col D 的值，但在前一天。这是 col D 的值，其中行，称为行 j，col A 和 col B 的值与行 i 相同，但日期是行 i 的日期减去一天。我怎样才能有效地做到这一点？

我还想对多列执行此操作，而不仅仅是 col D。

这是我想要的一个例子。以下是我当前的数据框 csv。

Date, col-A, col-B, col-C, col-D
5/29/2007, A, B, 0, 1
5/29/2007, AA, Bf, 7, 124
5/29/2007, AV, Bf, 1, 4
5/30/2007, A, B, 10, 1
5/30/2007, AA, Bf, 3, 1
5/30/2007, AV, Bf, 1, 8

这是我希望我的数据框拥有的所需输出数据

Date, col-A, col-B, col-C, col-D, col-D-1
5/30/2007, A, B, 10, 1, 1
5/30/2007, AA, Bf, 3, 1, 124
5/30/2007, AV, Bf, 1, 8, 4

Answer 1

我会创建一个移动的副本，然后与原始副本合并。

# shifted copy
shiftInterval = pd.Timedelta('-1 days') # your X days interval
dfShifted = df.copy()
dfShifted['Date'] = dfShifted['Date'] - shiftInterval
dfShifted.drop(['col-C'], axis=1, inplace=True)

# merge, keeping only observations where -1 lag is present
df2 = pd.merge(df,
           dfShifted,
           on=['Date','col-A','col-B'],
           how = 'inner', # use 'left' to keep observations without lags
           suffixes=['','-1'])

df2
#        Date col-A col-B  col-C  col-D  col-D-1
#0 2007-05-30     A     B     10      1        1
#1 2007-05-30    AA    Bf      3      1      124
#2 2007-05-30    AV    Bf      1      8        4

以上答案假设您有一个由以下人员创建的可重现的数据集：

from io import StringIO
import pandas as pd
from datetime import datetime

df = pd.read_csv(StringIO("""Date,col-A,col-B,col-C,col-D
5/29/2007,A,B,0,1
5/29/2007,AA,Bf,7,124
5/29/2007,AV,Bf,1,4
5/30/2007,A,B,10,1
5/30/2007,AA,Bf,3,1
5/30/2007,AV,Bf,1,8"""))

df['Date'] = df['Date'].apply(lambda x: datetime.strptime(x, '%m/%d/%Y'))

这是一种手动破解，因为已经有了移位功能。我之前尝试过使用pandas.DataFrame.shift()，但无法使其与freq 和索引一起使用。知道如何回答这个问题的人。

Answer 2

df['E'] = [
 df.loc[
  (df['date']==(df.loc[row,'date']-pd.Timedelta('1 day')))&
  (df['A']==df.loc[row,'A'])&
  (df['B']==df.loc[row,'B'])
 ]['D'] for row in df.index]