如何在 Pandas 数据框中创建一个包含与 groupby 相同值的新列？

Question

我有一个需要为其创建新列的数据集。这个新列需要与在 groupby 中找到的值等效。

例如：

我有这个数据框：

data = [
    ["A", 1, "special","aaa", 64],
    ["A", 1,"special", "bbb", 140],
    ["A", 2,"notspecial", "aaa", 25],
    ["A", 2,"notspecial", "bbb", 12],
    ["A", 3,"notspecial", "aaa", 85],
    ["A", 3,"notspecial", "bbb", 10],
    ["B", 1,"special", "ccc", 200],
    ["B", 2,"notspecial", "ccc", 350],
    ["B", 3,"notspecial", "ccc", 500],
    ["B", 4,"notspecial", "ccc", 651],

]

df = pd.DataFrame(data, columns=["ID", "Subset", "Description","Category", "Value"])
df

我需要使用新列创建此数据集的版本，此新列需要是 special 行的 Value，由 ID 和 Category 分组。 （请注意，在某些情况下，不会有多个类别，而在某些情况下会有）。基本上，整列仅包含 ID 和 Category groupby 的 special 值。如下：

data = [
    ["A", 1, "special", "aaa", 64, 64],
    ["A", 1, "special", "bbb", 140, 140],
    ["A", 2, "notspecial", "aaa", 25, 64],
    ["A", 2, "notspecial", "bbb", 12, 140],
    ["A", 3, "notspecial", "aaa", 85, 64],
    ["A", 3, "notspecial", "bbb", 10, 140],
    ["B", 1, "special", "ccc", 200, 200],
    ["B", 2, "notspecial", "ccc", 350, 200],
    ["B", 3, "notspecial", "ccc", 500, 200],
    ["B", 4, "notspecial", "ccc", 651, 200],
]

df = pd.DataFrame(
    data, columns=["ID", "Subset", "Description", "Category", "Value", "special_value"]
)
df

我以前用过：

# create new column dedicated to untreated mean raw value severity values across trial ids
df["special_value"] = (
    df.where(
        df["Description"].eq("special")
    )
    .groupby(["ID", "Category"])["Value"]
    .transform("mean")
)

但这仅适用于 groupby 只是 ID 而不是当我添加 Category 时。

任何帮助将不胜感激！

谢谢！

Answer 1

IIUC，您可以使用pandas.DataFrame.groupby.transform 和first：

df["special_value"] = df["Value"][df["Description"].eq("special")]
df["special_value"] = df.groupby("Category")["special_value"].transform("first")
print(df)

输出：

  ID  Subset Description Category  Value  special_value
0  A       1     special      aaa     64           64.0
1  A       1     special      bbb    140          140.0
2  A       2  notspecial      aaa     25           64.0
3  A       2  notspecial      bbb     12          140.0
4  A       3  notspecial      aaa     85           64.0
5  A       3  notspecial      bbb     10          140.0
6  B       1     special      ccc    200          200.0
7  B       2  notspecial      ccc    350          200.0
8  B       3  notspecial      ccc    500          200.0
9  B       4  notspecial      ccc    651          200.0

Answer 2

这是一种方法，如果您想要 ID 和 Category 的第一个值，否则您可以使用 groupby 执行相同的创建 dfm：

dfm =df.query("Description =='special").drop_duplicates(['ID','Category'])[['ID', 'Category', 'Value']]\
       .rename(columns={'Value':'special_value_comp'})
df.merge(dfm, on=['ID', 'Category']).sort_values(['ID', 'Subset'])

输出：

  ID  Subset Description Category  Value  special_value  special_value_comp
0  A       1     special      aaa     64             64                  64
3  A       1     special      bbb    140            140                 140
1  A       2  notspecial      aaa     25             64                  64
4  A       2  notspecial      bbb     12            140                 140
2  A       3  notspecial      aaa     85             64                  64
5  A       3  notspecial      bbb     10            140                 140
6  B       1     special      ccc    200            200                 200
7  B       2  notspecial      ccc    350            200                 200
8  B       3  notspecial      ccc    500            200                 200
9  B       4  notspecial      ccc    651            200                 200

Answer 3

另一种方式

df.loc[df['Description'] != 'special', 'Value'] = np.nan
df['special_value'] = df.groupby(["ID", "Category"]).Value.transform(lambda x: x.fillna(x.mean()))