Python：使用上限重新分配权重

Question

如何重新分配标准化数据帧的权重并设置上限。

例如，如果我有以下一行数据：

0.1 0.3 0.5 0.1

我不希望任何大于 0.4 的权重。如何裁剪 0.5 权重并重新分配权重，以便最大化每个条目。所以我会得到：

0.1 0.4 0.4 0.1

因此，将 0.5 裁剪为 0.4，将剩余的 0.1 添加到 0.3 得到 0.4。 请注意，在这两种情况下，条目总和为 1（标准化）。

这可以通过python来完成吗？即没有循环。

理想情况下，我希望将其应用于这样的数据框：

df = pd.DataFrame({'a': [5003, 54.06, 53.654, 55.2], 'b': [np.nan, 54.1121, 53.98, 55.12], 'c': [np.nan, 2, 53.322, 54.99],
               'd': [np.nan, 53.1, 53.212, 55.002], 'e': [np.nan, 53, 53.2, 55.021], 'f': [np.nan, 53.11, 53.120, 55.3]})
N = 5 # 1/np.sqrt(N) = 0.447214
df = df.div(df.sum(axis=1), axis=0)
df:
        a           b            c          d           e           f
    0   1.000000    NaN          NaN        NaN         NaN         NaN
    1   0.200681    0.200875    0.007424    0.197118    0.196747    0.197155
    2   0.167413    0.168431    0.166378    0.166034    0.165997    0.165747
    3   0.166952    0.166711    0.166317    0.166354    0.166411    0.167255

谢谢。

Answer 1

当我使用它时，它会起作用，但如果你发现它坏了，我肯定很想知道。总体思路是将其融合为长格式数据帧，以允许 groupby 操作避免显式循环

import pandas as pd
import numpy as np

#Df from your example
df = pd.DataFrame({'a': [5003, 54.06, 53.654, 55.2], 'b': [np.nan, 54.1121, 53.98, 55.12], 'c': [np.nan, 2, 53.322, 54.99],
               'd': [np.nan, 53.1, 53.212, 55.002], 'e': [np.nan, 53, 53.2, 55.021], 'f': [np.nan, 53.11, 53.120, 55.3]})

df = df.div(df.sum(axis=1), axis=0).fillna(0) #assume the nulls should be zeros so we can add to them

nrows,ncols = df.shape
min_cap = 1/ncols #note that the cap has to be at the very least larger than this value for rows to sum to 1

cap = 0.2 #just using 0.2 as an example

#convert to long form to allow for groupbys
long_df = df.reset_index().melt(id_vars=['index']).set_index(['index','variable'])['value']

#calculate excess per row and cap the overfilled entries
excess = long_df[long_df.ge(cap)].sub(cap).groupby('index').sum()
long_df[long_df.ge(cap)] = cap

#fill underfilled entries than can be completely filled
fill_space = cap-long_df
cumsum_fill = fill_space.sort_values().groupby('index').cumsum()
full_fill = excess.ge(cumsum_fill)
long_df[full_fill] = cap

#add remaining fill to largest elements of each row
final_excess = excess-cumsum_fill[full_fill].groupby('index').max()
ind_last_excess = long_df[long_df.lt(cap)].groupby('index').idxmax()
long_df[ind_last_excess] += final_excess

#pivot back to the same df shape as original
res_df = long_df.reset_index().pivot_table(values='value',index='index',columns='variable').fillna(0)
print(res_df)

输出：

variable         a         b         c         d         e         f
index                                                               
0         0.200000  0.200000  0.000000  0.200000  0.200000  0.200000
1         0.200000  0.200000  0.007424  0.197118  0.196747  0.198711
2         0.167413  0.000000  0.166378  0.166034  0.165997  0.165747
3         0.166952  0.166711  0.166317  0.166354  0.166411  0.000000