如何根据与值的辅助数据框匹配的条件填充主数据框列中的 NaN 以使用多个填充值填充 NaN

Question

我需要根据 groupby 和 mean 函数创建的第二个数据框在我的主数据框中填充 NA 值。我的原始数据框有大约 1.5K NaN 需要填充，因此需要大规模重现。我创建了一个假数据框，它是使用假场景对我的数据进行的简短快速和肮脏的模仿。我无法与你分享我的真实数据。

我的总体思路是：

main_data[
          (main_data["Animal_Type"] == mean_data["Animal_Type"]) & 
          (main_data["Cost_Type"] == mean_data["Cost_Type"])
         ] = main_data["Price"].fillna(mean_data["Price"])

显然，这是行不通的，但这是我的逻辑如何工作的一般要点。我找到了 t[他的答案][1]，但我看不到将其正确应用于我的问题。很多答案都涉及mask，或者假设我的数据非常小，只有一个值可以替换我所有的 NaN。在我的原始数据集中，我有大约 50 种不同的方法，每个“成本类型”都与“动物类型”唯一配对。我的原始数据框也包含大约 30K 个观测值，其中充满了独特的观测值。我可以映射，但这仅适用于单个列。我对编码还很陌生，所以很多其他答案对我来说太复杂了，我也无法理解和改变。

主数据

mean_data.head(10)

   **Pet_ID Animal_Type Cost_Type   Price**
0   101     Goat        Housing     6.0
1   102     Dog         Housing     6.0
2   103     Horse       Housing     NaN
3   104     Horse       Housing     5.0
4   105     Goat        Housing     3.0
5   106     Dog         Feeding     3.0
6   107     Cat         Feeding     6.0
7   108     Horse       Housing     6.0
8   109     Hamster     Feeding     5.0
9   110     Horse       Feeding     3.0

平均数据

    Animal_Type Cost_Type   Price
0   Cat         Feeding     4.500000
1   Cat         Housing     5.000000
2   Chicken     Feeding     5.000000
3   Chicken     Housing     4.500000
4   Dog         Feeding     3.000000
5   Dog         Housing     6.000000
6   Goat        Feeding     5.000000
7   Goat        Housing     5.000000
8   Hamster     Feeding     5.250000
9   Hamster     Housing     3.000000
10  Horse       Feeding     3.500000
11  Horse       Housing     5.666667
12  Rabit       Feeding     3.000000
13  Rabit       Housing     3.000000

我的可重现代码：

random.seed(10)

random.seed(10)

main_data = pd.DataFrame(columns = ["Pet_ID", "Animal_Type", "Cost_Type", "Price", "Cost"])

main_data["Pet_ID"] = pd.Series(list(range(101,150)))
main_data["Animal_Type"] = main_data.Animal_Type.apply(lambda x: random.choice(["Dog", "Cat", "Rabit", "Horse", "Goat", "Chicken", "Hamster"])) 
main_data["Cost_Type"] = main_data.Animal_Type.apply(lambda x: random.choice(["Housing", "Feeding"])) 
main_data["Price"] = main_data.Price.apply(lambda x: random.choice([3, 5, 6, np.nan])) 
main_data["Cost"] =  main_data.Cost.apply(lambda x: random.choice([2, 1, 3, np.nan])) 

mean_data = main_data.groupby(["Animal_Type", "Cost_Type"])["Price"].mean().reset_index()

编辑：我已经将两个解决方案放在一起，但我不会说它更优雅或更可靠。可能也不是最有效的。

main_data = pd.merge(
    main_data,
    mean_data,
    on = ["Animal_Type", "Cost_Type"],
    how = "left"
)

main_data["Price_z"] = main_data["Price_x"].fillna(main_data["Price_y"])

编辑 2：我添加了一个带有 NaN 的“成本”列。我不想触及此列，但希望在此列中使用与价格列相同的方法。 [1]：Replace values based on multiple conditions with groupby mean in Pandas

Answer 1

我需要根据我由groupby 和mean 函数创建的第二个数据帧在我的主数据帧中填充 NA 值。

您不需要这一步。您可以通过分组到多个数据帧、对每个单独的数据帧应用均值并仅在该数据帧内填充 NA 值来一步完成此操作。

所以，不要创建 mean_data 数据框，而是这样做：

def fill_by_mean(df):
    df["Price"] = df["Price"].fillna(df["Price"].mean())
    return df

main_data = main_data.groupby(["Animal_Type", "Cost_Type"]).apply(fill_by_mean)

对 fill_by_mean() 的每个单独调用都会看到一个如下所示的数据框：

    Pet_ID Animal_Type Cost_Type  Price
11     112       Rabit   Feeding    NaN
34     135       Rabit   Feeding    3.0
38     139       Rabit   Feeding    3.0

然后它获取价格列的平均值并使用它填充 NA 值。 Groupby 然后将所有单独的数据帧连接在一起。