【发布时间】:2021-11-07 23:18:33
【问题描述】:
我正在分析一个 Kaggle 项目,发现以下不一致:
我们有商店 (1, 2, 3) 和商品 (1, 2, 3, 4, 5) 的销售数据。原作者想要计算商店、项目和期间(月/年)的每个组合的总和和平均值。并且由于他/她认为在预测当月的销售额时我们应该只看到前几个月的可见性,所以他/她决定将销售向量移动 1。但这会导致上个月商店 1 产品 1 的销售额成为一部分的问题商店 1 产品 2.
data.groupby(["store", "item", "period"]).sales.agg(["sum", "mean"]).shift(1)
我最初的想法是在分组之后但在聚合之前移动移位操作。
data.groupby(["store", "item", "period"]).sales.shift(1).agg(["sum", "mean"])
查看第二行代码的输出让我感到非常惊讶。执行移位后,聚合似乎不尊重 groupby 索引。
有没有人经历过类似的事情? shift 真的会从 groupby 操作中删除索引吗?
编辑:
添加原始 kaggle 工作簿的链接: https://www.kaggle.com/ekrembayar/store-item-demand-forecasting-with-lgbm
【问题讨论】:
-
您介意发布代码或分享笔记本的链接吗?
-
groupby agg的结果(通常)是一个 DataFrame,因此在groupby agg之后使用shift是DataFrame.shift而不是Groupby.shift(这就是为什么整个帧不仅在组内移动的原因)。Groupby.shift后跟DataFrame.agg的另一种方式也是如此,您最终会得到整个数据帧的总和和平均值。您需要使用多个 groupby 来在组中执行这两个操作。 -
@Luke 添加了链接,谢谢!
-
@HenryEcker 你的解释很到位!也许还有人认为您可以提供帮助,您知道, shift 在 rolling() 函数上效果很好,因此,如果您移动组并在之后进行滚动,则不会重叠 group by 中定义的组;所以dataframe.shift对象还保留groupby索引信息? df.groupby(["store", "item"]).sales.shift(1).rolling(i).mean().values
标签: python pandas dataframe aggregation shift