【问题标题】:Python pandas equivalent to R groupby mutatePython pandas 相当于 R groupby mutate
【发布时间】:2017-04-16 19:55:49
【问题描述】:

所以在 R 中,当我有一个由 4 列组成的数据框时,将其称为 df 并且我想通过一组的总和乘积来计算比率,我可以这样:

// generate data
df = data.frame(a=c(1,1,0,1,0),b=c(1,0,0,1,0),c=c(10,5,1,5,10),d=c(3,1,2,1,2));
| a   b   c    d |
| 1   1   10   3 |
| 1   0   5    1 |
| 0   0   1    2 |
| 1   1   5    1 |
| 0   0   10   2 |
// compute sum product ratio
df = df%>% group_by(a,b) %>%
      mutate(
          ratio=c/sum(c*d)
      );
| a   b   c    d  ratio |
| 1   1   10   3  0.286 |
| 1   1   5    1  0.143 |
| 1   0   5    1  1     |
| 0   0   1    2  0.045 |
| 0   0   10   2  0.454 |

但在 python 中,我需要使用循环。 我知道应该有比python中的原始循环更优雅的方法,有人有什么想法吗?

【问题讨论】:

  • mutate 另一个真正强大的部分是不需要范围,您可以简单地编写 c/sum(cd) 并且它知道它指的是来自左边。我发现在 python 中编写 lambda g 是不必要的冗长和混淆:g.c/(g.cg.d).sum()
  • @jedi 我同意,但是当您必须使用 python 时,您无能为力...

标签: python r pandas dplyr


【解决方案1】:

可以使用与groupby() 和apply() 类似的语法来完成:

df['ratio'] = df.groupby(['a','b'], group_keys=False).apply(lambda g: g.c/(g.c * g.d).sum())

【讨论】:

  • group_keys=False 有什么作用?
  • 默认情况下,groupby() 将组列作为额外索引添加到结果中,使其索引与原始数据框不同,因此无法轻松分配数据框。避免将组列添加为键,只要每行都有唯一的索引,就可以进行分配。
  • 好吧,这与 mutate 一样实用。 mutate 的最大优点是您可以在管道中创建一个新变量并保持链接事物,而这需要您专门指定一行来分配新列。难道没有“inplace=True”方法来为熊猫创建一个额外的列吗?
【解决方案2】:

根据这个thread on pandas github,我们可以使用transform()方法来复制dplyr::groupby()和dplyr::mutate()的组合。对于这个例子,它看起来如下:

df = pd.DataFrame(
    dict(
        a=(1 , 1, 0, 1, 0 ), 
        b=(1 , 0, 0, 1, 0 ),
        c=(10, 5, 1, 5, 10),
        d=(3 , 1, 2, 1, 2 ),
    )
).assign(
    prod_c_d = lambda x: x['c'] * x['d'], 
    ratio    = lambda x: x['c'] / (x.groupby(['a','b']).transform('sum')['prod_c_d'])
)

此示例使用pandas method chaining。有关如何使用方法链接来复制 dplyr 工作流的更多信息,请参阅此 blogpost。

使用apply() 和groupby() 的方法对我不起作用,因为它似乎不适应。例如,如果我们从 lambda 表达式中删除 g.c/,它就不起作用。

df['ratio'] = df.groupby(['a','b'], group_keys=False)\
    .apply(lambda g: (g.c * g.d).sum() )

【讨论】:

  • 如果我们想在同一个调用中分配 2+ 列,每个都使用.groupby(['a','b']),该怎么办?有没有比像这样为每一列重复 groupby 方法的“更简洁”的方法? df = df.assign(c_lag1 = lambda x: x['c'].groupby(['a','b']).shift(-1), c_lag2 = lambda x: x['c'].groupby(['a','b']).shift(-2))
  • 你可以预定义组对象但它会破坏方法链gr = df['c'].groupby(['a','b']) df.assign(c_lag = gr.shift(-1), c_lag2 = gr.shift(-2))
  • 您能否进一步解释一下为什么我们在assign 中需要lambda?我不知道x 指的是什么。原始DataFrame 或一些子组?
  • lambda 表达式是一种编写单行单关键字函数的方法。在assign 方法中使用它时,x 调用原始数据帧,其中包含当前方法链上游已经进行的所有更改。 tomaugspurger.github.io/method-chaining.html
  • 这仍然是最好的方法吗?,在 pandas 1.0 中是否有更好的方法?,...,这种方法是我发现的更好的方法,但它似乎不是很有效(在所有列上转换('sum'),当你只需要一个时)。
【解决方案3】:

使用datar 将您的 R 代码翻译成 python 非常容易:

>>> from datar.all import f, c, tibble, sum, group_by, mutate
[2021-06-24 13:32:29][datar][WARNING] Builtin name "sum" has been overriden by datar.
>>> 
>>> df = tibble(a=c(1,1,0,1,0),b=c(1,0,0,1,0),c=c(10,5,1,5,10),d=c(3,1,2,1,2))
>>> df
        a       b       c       d
  <int64> <int64> <int64> <int64>
0       1       1      10       3
1       1       0       5       1
2       0       0       1       2
3       1       1       5       1
4       0       0      10       2
>>> df >> group_by(f.a, f.b) >> mutate(ratio=f.c/sum(f.c*f.d))
        a       b       c       d     ratio
  <int64> <int64> <int64> <int64> <float64>
0       1       1      10       3  0.285714
1       1       0       5       1  1.000000
2       0       0       1       2  0.045455
3       1       1       5       1  0.142857
4       0       0      10       2  0.454545

[Groups: a, b (n=3)]

免责声明:我是datar 包的作者。

【讨论】:

    猜你喜欢
    • 2022-01-18
    • 1970-01-01
    • 2014-03-17
    • 2018-04-21
    • 1970-01-01
    • 1970-01-01
    • 2011-06-25
    • 2019-09-08
    • 1970-01-01
    相关资源
    最近更新 更多