创建一个新变量，它是python中另一个变量的每周最小值/最大值答案

【问题标题】：Create a new variable which is weekly min/max values of another variable in python创建一个新变量，它是python中另一个变量的每周最小值/最大值
【发布时间】：2019-05-13 14:08:48
【问题描述】：

当列 A 的值在一周内最高时，如何将值 1 分配给变量 S？另外，当B的值是一周内的最小值时，如何将值2分配给变量S。我正在处理按日期时间索引的每小时数据。这是我的数据框的样子：

                 A       B      S
datetime            
6/14/2004 1:00  384.5   383.6   0
6/14/2004 2:00  384.3   382.3   0
6/14/2004 3:00  383.3   382.3   0
6/14/2004 4:00  383.3   382.6   0
6/14/2004 5:00  383.3   382.8   0
6/14/2004 6:00  383.3   382.5   0
6/14/2004 7:00  383.3   382.3   0
6/14/2004 8:00  383.8   382.3   0
6/14/2004 9:00  382.8   382.1   0
6/14/2004 10:00 382.6   382.1   0

我尝试过每周使用重采样并获得最大值，但我不知道如何编写代码，因为它比我最初想象的要复杂。这是我希望我的最终数据看起来的样子。

                  A      B      S
datetime            
6/14/2004 1:00  384.5   383.6   0
6/14/2004 2:00  384.3   382.3   0
6/14/2004 3:00  383.3   382.3   0
6/14/2004 4:00  383.3   382.6   0
6/14/2004 5:00  383.3   382.8   0
6/14/2004 6:00  383.3   382.5   0
6/14/2004 7:00  383.3   382.3   0
6/14/2004 8:00  383.8   382.3   0
6/14/2004 9:00  382.8   382.1   0
6/14/2004 10:00 382.6   382.1   0
6/14/2004 11:00 382.5   381.8   0
6/14/2004 12:00 382.8   382.3   0
6/14/2004 13:00 383.1   382.3   0
6/14/2004 14:00 385.8   382.5   0
6/14/2004 15:00 385.1   383.6   0
6/14/2004 16:00 384.8   383.5   0
6/14/2004 17:00 384.8   382.5   0
6/14/2004 18:00 383.6   382.8   0
6/14/2004 19:00 383.8   382.8   0
6/14/2004 20:00 383.3   382.8   0
6/14/2004 21:00 383.1   382.6   0
6/14/2004 22:00 383.1   382.6   0
6/14/2004 23:00 383.1   382.6   0
6/15/2004 0:00  382.8   382.6   0
6/15/2004 1:00  383.3   382.6   0
6/15/2004 2:00  383.6   382.3   0
6/15/2004 3:00  383.8   382.5   0
6/15/2004 4:00  382.8   382.1   0
6/15/2004 5:00  383.0   382.1   0
6/15/2004 6:00  382.8   382.0   0
... ... ... ...
6/24/2004 20:00 402.8   401.8   0
6/24/2004 21:00 402.3   401.8   0
6/24/2004 22:00 402.3   401.8   0
6/24/2004 23:00 402.1   401.1   0
6/25/2004 0:00  402.1   401.8   0
6/25/2004 1:00  402.1   401.3   0
6/25/2004 2:00  402.1   400.1   0
6/25/2004 3:00  401.6   400.8   0
6/25/2004 4:00  401.5   400.8   0
6/25/2004 5:00  401.3   400.8   0
6/25/2004 6:00  401.1   400.6   0
6/25/2004 7:00  402.1   400.8   0
6/25/2004 8:00  402.1   400.6   0
6/25/2004 9:00  401.6   400.5   0
6/25/2004 10:00 401.8   400.8   0
6/25/2004 11:00 401.5   400.6   0
6/25/2004 12:00 401.3   400.1   0
6/25/2004 13:00 402.8   401.3   0
6/25/2004 14:00 402.8   401.0   **1**
6/25/2004 15:00 401.5   400.1   0
6/25/2004 16:00 401.6   400.6   0
6/25/2004 17:00 401.8   401.0   0
6/25/2004 18:00 402.1   400.8   0
6/25/2004 19:00 402.3   400.8   0
6/25/2004 20:00 402.6   401.6   0
6/25/2004 21:00 401.8   401.3   0
6/25/2004 22:00 401.8   400.6   0
6/28/2004 0:00  401.8   401.6   0
6/28/2004 1:00  402.3   401.6   0
6/28/2004 2:00  402.3   401.5   0

对于第一周，S 列在 2004 年 6 月 18 日 18:00 的值为 1，在 2004 年 6 月 15 日 11:00 的值为 2 对于第二周，S 列在 6/25/2004 14:00 的值为 1，在 6/21/2004 18:00

的值为 2

我想出了四个规则：

1. 当 A = max(A) 在当前周内，将值 1 放入 S。如果 A 最大值在一周内不是唯一的，则将 1 放入 S 中的最后一次出现A中的最大值。

2. 当 B = min(B) 在当前周内，将值 2 放入 S。如果 B 最小值在一周内不唯一，则将 2 放入 S 中最后一次出现的位置B中的最小值。

3. 在整个星期内重复此操作。整个数据集每小时可能有 80k+ 数据行。

4.每周内：如果 max(A) 和 min(B) 出现在同一日期时间索引处，则将值 0 留在 S 中（不变）。

下面是读取数据的代码：

import pandas as pd

url = 'https://www.dropbox.com/s/x7wl75rkzsqgkoj/dataset.csv?dl=1'

p = pd.read_csv(url)
p.set_index('datetime', drop=True, inplace=True)
p

这是一张图片，解释了我希望输出的样子：

【问题讨论】：

请在发帖前阅读此内容； How to Ask，minimal reproducible example。不要发布图片，请复制/粘贴代码并以任何人都可以用来复制您的流程的格式输入数据。
我想这是我的第一个问题......
嗯，图像比长复制粘贴更有帮助。你的问题得到了很好的解决。你可以缩短你的样本。

标签： python pandas time-series resampling

【解决方案1】：

所以我减小了数据框的大小以便我们可以看到一些东西，并且我添加了一个列周（“w”）以便我们更好地检查。

首先，您需要将索引的类型设置为 datetime 对象，以便您可以访问日期属性，例如 week to groupby on。

p.index = pd.to_datetime(p.index)
p["w"] = p.index.week 

p                                                                      
                         A      B  S   w
datetime                                
2004-06-14 01:00:00  384.5  383.6  0  25
2004-06-14 09:00:00  382.8  382.1  0  25
2004-06-14 17:00:00  384.8  382.5  0  25
2004-06-15 01:00:00  383.3  382.6  0  25
2004-06-15 09:00:00  382.3  381.6  0  25
2004-06-15 17:00:00  388.6  384.6  0  25
2004-06-16 01:00:00  387.3  387.1  0  25
2004-06-16 09:00:00  388.8  387.6  0  25
2004-06-16 17:00:00  384.5  382.6  0  25
2004-06-17 01:00:00  384.6  383.6  0  25
2004-06-17 09:00:00  385.6  384.0  0  25
2004-06-17 17:00:00  386.8  386.0  0  25
2004-06-18 01:00:00  388.6  387.3  0  25
2004-06-18 09:00:00  387.5  385.8  0  25
2004-06-18 17:00:00  395.8  394.1  0  25
2004-06-21 02:00:00  394.3  392.8  0  26
2004-06-21 10:00:00  393.3  392.3  0  26
2004-06-21 18:00:00  394.8  392.1  0  26
2004-06-22 02:00:00  394.6  393.0  0  26
2004-06-22 10:00:00  394.0  392.6  0  26
2004-06-22 18:00:00  395.3  393.8  0  26
2004-06-23 02:00:00  394.3  393.6  0  26
2004-06-23 10:00:00  395.8  395.0  0  26
2004-06-23 18:00:00  394.6  393.6  0  26
2004-06-24 02:00:00  394.6  393.1  0  26
2004-06-24 10:00:00  397.8  394.8  0  26
2004-06-24 18:00:00  401.3  400.6  0  26
2004-06-25 02:00:00  402.1  400.1  0  26
2004-06-25 10:00:00  401.8  400.8  0  26
2004-06-25 18:00:00  402.1  400.8  0  26
2004-06-28 03:00:00  402.3  401.5  0  27
2004-06-28 11:00:00  402.1  400.8  0  27
2004-06-28 19:00:00  400.3  399.1  0  27
2004-06-29 03:00:00  399.6  399.1  0  27
2004-06-29 11:00:00  397.1  395.3  0  27
2004-06-29 19:00:00  392.3  391.0  0  27
2004-06-30 03:00:00  392.3  391.8  0  27
2004-06-30 11:00:00  393.6  393.1  0  27
2004-06-30 19:00:00  393.5  391.3  0  27

然后，您需要定义每周应用的函数：

def minmax(grp): 
    Amax = grp.A[::-1].idxmax() # reverse your Series since you want the last occurence, and idxmax return the first in case of tie 
    grp.loc[Amax, "S"] = 1  
    Bmin = grp.B[::-1].idxmin()
    if Bmin != Amax:  
        grp.loc[Bmin, "S"] = 2
    else:
        grp.loc[Bmin, "S"] = 0 # no change
    return grp

然后在每年的每周进行分组并应用该功能：

p.groupby([p.index.week, p.index.year]).apply(minmax)                                 
                         A      B  S   w
datetime                                
2004-06-14 01:00:00  384.5  383.6  0  25
2004-06-14 09:00:00  382.8  382.1  0  25
2004-06-14 17:00:00  384.8  382.5  0  25
2004-06-15 01:00:00  383.3  382.6  0  25
2004-06-15 09:00:00  382.3  381.6  2  25
2004-06-15 17:00:00  388.6  384.6  0  25
2004-06-16 01:00:00  387.3  387.1  0  25
2004-06-16 09:00:00  388.8  387.6  0  25
2004-06-16 17:00:00  384.5  382.6  0  25
2004-06-17 01:00:00  384.6  383.6  0  25
2004-06-17 09:00:00  385.6  384.0  0  25
2004-06-17 17:00:00  386.8  386.0  0  25
2004-06-18 01:00:00  388.6  387.3  0  25
2004-06-18 09:00:00  387.5  385.8  0  25
2004-06-18 17:00:00  395.8  394.1  1  25
2004-06-21 02:00:00  394.3  392.8  0  26
2004-06-21 10:00:00  393.3  392.3  0  26
2004-06-21 18:00:00  394.8  392.1  2  26
2004-06-22 02:00:00  394.6  393.0  0  26
2004-06-22 10:00:00  394.0  392.6  0  26
2004-06-22 18:00:00  395.3  393.8  0  26
2004-06-23 02:00:00  394.3  393.6  0  26
2004-06-23 10:00:00  395.8  395.0  0  26
2004-06-23 18:00:00  394.6  393.6  0  26
2004-06-24 02:00:00  394.6  393.1  0  26
2004-06-24 10:00:00  397.8  394.8  0  26
2004-06-24 18:00:00  401.3  400.6  0  26
2004-06-25 02:00:00  402.1  400.1  0  26
2004-06-25 10:00:00  401.8  400.8  0  26
2004-06-25 18:00:00  402.1  400.8  1  26
2004-06-28 03:00:00  402.3  401.5  1  27
2004-06-28 11:00:00  402.1  400.8  0  27
2004-06-28 19:00:00  400.3  399.1  0  27
2004-06-29 03:00:00  399.6  399.1  0  27
2004-06-29 11:00:00  397.1  395.3  0  27
2004-06-29 19:00:00  392.3  391.0  2  27
2004-06-30 03:00:00  392.3  391.8  0  27
2004-06-30 11:00:00  393.6  393.1  0  27
2004-06-30 19:00:00  393.5  391.3  0  27

HTH

【讨论】：

非常感谢，@jrjc！这有帮助，但我想它有问题。它错过了一些实例，主要是最小值。
@Silviu，你能更准确一点吗？编辑您的问题并添加一个您认为我的解决方案失败的简短示例。
我不知道会发生什么。在我共享的子集上，它工作正常。但是当我在整个数据集上运行它时，它不起作用。自己试试： import pandas as pd import numpy as np url = 'dropbox.com/s/4pr08n0i8enuqen/datasetf.csv?dl=1' 在S中生成106个值，但应该生成1513个。
尝试找出缺失的一周。
在数据集 'dropbox.com/s/4pr08n0i8enuqen/datasetf.csv?dl=1' 中，有 756 周。原则上，每周应该有 1 个高值和 1 个低值，这意味着我应该期望 S 中有 1512 个值。当我运行你的脚本时，它只给出 106。其次，脚本在运行时不会给出相同的结果更大的数据集。您可以比较我共享的两个数据集的输出

【解决方案2】：

很像@jrjc 方法，但我认为这可以在没有一些分配的情况下完成，让我们试试这个：

def f(x):
    x.loc[x['A'][::-1].idxmax(), 'S'] = 1
    lindx = x['B'][::-1].idxmin()
    x.loc[lindx, 'S'] = np.where(x.loc[lindx, 'S'] == 1, 0, 2)
    return x


p_out = p.groupby(pd.Grouper(freq='W')).apply(f)

通过仅查看 p_out 的非零值 S 来检查输出：

p_out[p_out.S.ne(0)]

输出：

                         A      B  S
datetime                            
2004-06-15 11:00:00  382.0  381.1  2
2004-06-18 18:00:00  395.8  394.1  1
2004-06-21 18:00:00  394.8  392.1  2
2004-06-25 14:00:00  402.8  401.0  1
2004-06-28 14:00:00  404.6  402.3  1
2004-06-29 17:00:00  394.5  390.3  2

【讨论】：

这太棒了！真的很有帮助！万分感谢！我花了一些时间来检查，因为我想确保在使用超过 1 年的数据时，对周数的索引不会产生任何问题。
您如何检查与此解决方案的关联（规则 #4）？
啊....jrjc 提出了一个很好的观点。我不是在检查关系。我稍后会添加这个逻辑。
谢谢，期待。如果得到解决，我很乐意接受它作为解决方案。
更新的解决方案。快乐编码！感谢@jrjc 指出逻辑错误。