在条件列上乘以两个熊猫数据框的最佳方法

Question

我有 df1，我需要为 df1.Amount 的乘积添加一个额外的列，并以 df1.Q 的行为条件添加一个 df2 列。

我下面的解决方案适用于 n 的低值，但由于 n = 100000，该解决方案比 excel 上的嵌套 if 需要更长的时间。

import pandas as pd
import numpy as np
import time

def iRw(Q,T):
    vol = 'R' if Q in ['q1','q2','q3'] else 'L' if Q == 'q4' else 'H'
    w = float(df2.loc[(df2.T == T), vol].values)
    return w

n = 10000
Q = ['q1','q2','q3','q4','q5']
T = ['t1','t2','t3','t4','t5']

df1 = pd.DataFrame({'Id': [i for i in range(n)],
                     'Q': [Q[np.random.randint(len(Q))] for i in range(n)],
                     'T': [T[np.random.randint(len(T))] for i in range(n)],
                     'Amount': np.random.randn(n)})

df2 = pd.DataFrame({'Tenor': T,
                   'R':np.random.randn(len(T)),
                   'L':np.random.randn(len(T)),
                   'H':np.random.randn(len(T))})

tic = time.time()
df1['Product'] = df1.apply(lambda x: x.Amount * iRw(x.Q, x.T), axis = 1)
toc = time.time()

print(toc-tic)

有人可以推荐一种更快的方法来缩短上述处理时间吗？

提前致谢

Answer 1

将lookup 与由map 创建的助手Series 一起使用：

d1 = dict.fromkeys(['q1','q2','q3'], 'R')
d = {**{'q4':'L'}, **d1}
print (d)
{'q4': 'L', 'q1': 'R', 'q2': 'R', 'q3': 'R'}

g = df1['Q'].map(d).fillna('H')

df1['Product1'] = df2.set_index('T').lookup(df1['T'], g) * df1['Amount']
print (df1.head(5))
   Id       Q    T    Amount    Product   Product1
0   0       q4   t5 -0.220341  0.145460  0.145460
1   1       q5   t1 -1.495181 -1.450221 -1.450221
2   2       q4   t3 -2.233968  0.368787  0.368787
3   3       q3   t4  1.859870 -0.785868 -0.785868
4   4       q2   t1  0.349115  0.067482  0.067482

详情：

print (g.head(5))
0    L
1    H
2    L
3    R
4    R
Name: Q, dtype: object

设置：

np.random.seed(456)

n = 10000
Q = ['q1','q2','q3','q4','q5']
T = ['t1','t2','t3','t4','t5']

df1 = pd.DataFrame({'Id': [i for i in range(n)],
                     'Q': [Q[np.random.randint(len(Q))] for i in range(n)],
                     'T': [T[np.random.randint(len(T))] for i in range(n)],
                     'Amount': np.random.randn(n)})

df2 = pd.DataFrame({'Tenor': T,
                   'R':np.random.randn(len(T)),
                   'L':np.random.randn(len(T)),
                   'H':np.random.randn(len(T))})