【问题标题】:Pandas groupby-aggregation not working after shift() operation在 shift() 操作后 Pandas groupby-aggregation 不起作用
【发布时间】:2021-11-07 23:18:33
【问题描述】:

我正在分析一个 Kaggle 项目,发现以下不一致:

我们有商店 (1, 2, 3) 和商品 (1, 2, 3, 4, 5) 的销售数据。原作者想要计算商店、项目和期间(月/年)的每个组合的总和和平均值。并且由于他/她认为在预测当月的销售额时我们应该只看到前几个月的可见性,所以他/她决定将销售向量移动 1。但这会导致上个月商店 1 产品 1 的销售额成为一部分的问题商店 1 产品 2.

data.groupby(["store", "item", "period"]).sales.agg(["sum", "mean"]).shift(1)

我最初的想法是在分组之后但在聚合之前移动移位操作。

data.groupby(["store", "item", "period"]).sales.shift(1).agg(["sum", "mean"])

查看第二行代码的输出让我感到非常惊讶。执行移位后,聚合似乎不尊重 groupby 索引。

显示代码和输出的屏幕截图:

有没有人经历过类似的事情? shift 真的会从 groupby 操作中删除索引吗?

编辑:

添加原始 kaggle 工作簿的链接: https://www.kaggle.com/ekrembayar/store-item-demand-forecasting-with-lgbm

【问题讨论】:

  • 您介意发布代码或分享笔记本的链接吗?
  • groupby agg 的结果(通常)是一个 DataFrame,因此在groupby agg 之后使用shift 是DataFrame.shift 而不是Groupby.shift(这就是为什么整个帧不仅在组内移动的原因)。 Groupby.shift 后跟 DataFrame.agg 的另一种方式也是如此,您最终会得到整个数据帧的总和和平均值。您需要使用多个 groupby 来在组中执行这两个操作。
  • @Luke 添加了链接,谢谢!
  • @HenryEcker 你的解释很到位!也许还有人认为您可以提供帮助,您知道, shift 在 rolling() 函数上效果很好,因此,如果您移动组并在之后进行滚动,则不会重叠 group by 中定义的组;所以dataframe.shift对象还保留groupby索引信息? df.groupby(["store", "item"]).sales.shift(1).rolling(i).mean().values

标签: python pandas dataframe aggregation shift


【解决方案1】:

你可以尝试依次使用2个groupby(),如下:

(data.groupby(["store", "item", "period"]).sales.shift(1)
     .groupby([df["store"], df["item"], df["period"]]).agg(["sum", "mean"])
)

这样,我们不需要改变sales的原始值,就可以得到想要的结果。

【讨论】:

    【解决方案2】:

    尝试类似:

    data['sales'] = data.groupby(["store", "item", "period"]).sales.transform('shift')
    print(data.groupby(["store", "item", "period"]).sales.agg(["sum", "mean"]))
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2017-04-04
      • 1970-01-01
      • 2017-12-19
      • 2017-08-25
      • 2020-09-25
      • 2021-02-28
      • 1970-01-01
      相关资源
      最近更新 更多