熊猫数据框中的行（n-1）*速率+行（n）

Question

我有一个数据框和一系列费率。我的计算很简单：

new_row(n) = new_row(n-1)*rate + old_row(n)

我的数据框中有 20 列。 rate 是一系列 20（每列 1）。我已经使用循环编写了一个代码，它需要将近 9 秒才能运行。我相信，这不是做这个练习的理想方式。我想找到一种 Pythonic 的方法。

data = pd.read_csv('data.csv')
ret_rate = pd.read_csv('Retention_Rate.csv')

ret_dat = data.copy()
for i in range(4, ret_dat.shape[1]):
    for j in range(1, ret_dat.shape[0]):
        if (ret_dat['MARKET_ID'][j] == ret_dat['MARKET_ID'][j-1]):
        ret_dat.iloc[j, i] = ret_dat.iloc[j, i] + ret_rate.iloc[i-4,0]*ret_dat.iloc[j-1, i]

ret_dat.to_csv('adstock_data_v3.csv')

我已经把数据in a Google sheet.

Answer 1

终于找到了解决办法。在这一点上，我能找到的最佳解决方案。利用来自scipy.signal.lfilter 的信号处理。解决方案如下：

for media_var in self.config.media_vars: adstocked_vals = lfilter([1], [1, -ret_rate[media_var]], data[media_var])

感谢所有给出不同答案的人。它确实以某种方式帮助了我。感谢 Warren Weckesser 在另一个线程上的解决方案 here

Answer 2

我不确定这是否是您想要实现的目标 - 但这更简单，并且是您给出的公式的直接翻译

data = pd.read_csv('data.csv')
ret_rate = pd.read_csv('Retention_Rate.csv',usecols=['rate'])
# since you require only the 5th column onwards
ret_data = data.ix[:,4:]

# you can apply broad operations over rows instead of individual cells now
for i in range(1,len(ret_data)):
    ret_data.iloc[i] = ret_data.iloc[i-1].multiply(ret_rate.rate.iloc[i-1]) + ret_dat.iloc[i]

ret_data.to_csv('your_filename.csv',sep=',')

Answer 3

1. 只需使用感兴趣的data 切片

2. 系列ret_rate 用于演示一个长度等于data 的列数的范围

3. 你将 data 与 ret_rate 沿列 (axis=1) 和 shift 这个 DataFrame 乘以 1，然后添加初始 DataFrame

在代码中：

data = pd.read_csv("data_so.csv").iloc[:,4:]
ret_rate = pd.Series(range(df.shape[1]), index=df.columns)
data.multiply(ret_rate, 1).shift() + data 

所以所有的计算都只是一行 pandas。

对于multiply()，重要的是ret_rate 的索引等于data 的列名。