计算重叠间隔的处理时间答案

【问题标题】：Calculating handling time out of overlapping intervals计算重叠间隔的处理时间
【发布时间】：2021-10-19 13:19:00
【问题描述】：

我有一个原始数据从下面的销售人员导出并进行了一些转换；

df = pd.DataFrame(columns=['contact_start','name', 'aht'], 
                  data=[['2021-09-27 09:58:00','Venus','180'],
                        ['2021-09-27 10:00:00','Venus','240'],
                        ['2021-09-27 11:05:00','Venus','60'],
                        ['2021-09-27 10:55:00','Mars','30'],
                        ['2021-09-27 10:56:00','Mars','30']])

使用下面的这些代码

df["contact_start"] = pd.to_datetime(df["contact_start"], format = "%Y-%m-%d %H:%M:%S",errors='coerce')
df["date"] = df["contact_start"].dt.strftime('%Y-%m-%d')
df['aht']=pd.to_datetime(df["aht"], unit='s').dt.strftime("%H:%M:%S")
df['contact_finish'] = pd.to_timedelta(df['aht']) + pd.to_datetime(df['contact_start'])
df['contact_finish'] = df['contact_finish'].astype('datetime64[s]')

我把它转换成：

但我的最终目标是处理重叠问题，但我想不出如何实现它。

结果应该如下所示：

df = pd.DataFrame(columns=['date','name', 'total_duration_sec'], 
                  data=[['2021-09-27','Venus','420'], 
                        ['2021-09-27','Mars','60']])

我想这看起来很简单，但实际上并非如此。我将不胜感激。

编辑：我不知道如何在 python 中放入更有意义的数据，所以我上传了一个示例数据文件（3kb csv）

sample data

【问题讨论】：

金星是420秒还是4020秒？
她距离第一个有 180 秒，因为第二个在第一个之后开始，第二个的剩余持续时间也是 180（3 分钟），最后一个有 60 秒（1 分钟） ) 总共 420 秒（7 分钟）

标签： python pandas datetime intervals overlap

【解决方案1】：

我认为您可以在每个名称的连续 contact_start 之间创建以秒为单位的时间差

upper_seconds = (
    df.sort_values(['name','contact_start'])
      .groupby('name')['contact_start'].diff(-1)
      .dt.total_seconds().abs())

print(upper_seconds.sort_index())
# 0     120.0
# 1    3900.0
# 2       NaN
# 3      60.0
# 4       NaN
# Name: contact_start, dtype: float64

现在您可以将其用作 aht 的上方剪辑，然后按名称、日期和总和分组。

res = (
    df['aht'].astype(int)
      .clip(upper=upper_seconds)
      .groupby([df['name'], df['date']]).sum()
      .reset_index(name='total_duration_sec')
)
print(res)
    name        date  total_duration_sec
0   Mars  2021-09-27                  60
1  Venus  2021-09-27                 420

请注意，我使用您已经编写的前两行来获得良好的类型。

df["contact_start"] = pd.to_datetime(df["contact_start"], 
                                     format = "%Y-%m-%d %H:%M:%S",errors='coerce')
df["date"] = df["contact_start"].dt.strftime('%Y-%m-%d')

【讨论】：

在没有重叠的情况下它似乎可以工作，但是不幸的是，如果数据更大，它就无法工作，如果您想查看它，我在第一篇文章中添加了一个示例数据。

【解决方案2】：

您可以通过将这些行添加到您的代码中来使您现有的代码工作：

overlapped = pd.Series(df.groupby(['name']).apply(lambda x: (x['contact_finish'] - x['contact_start'].shift(-1)).dt.total_seconds().shift()).droplevel(0), name='overlapped')
overlapped = overlapped.mask(overlapped<0, 0).fillna(0)

df['date'] = df['contact_start'].dt.date
df = df.groupby(['date', 'name']).apply(lambda x: (((x['contact_finish'] - x['contact_start']).dt.seconds) - overlapped).sum()).reset_index(name='total_duration_sec')

输出：

         date   name  total_duration_sec
0  2021-09-27   Mars                60.0
1  2021-09-27  Venus               420.0

【讨论】：

嗨 Muhammad，它似乎使用了两行的样本数据，但我的实际数据是 79152 行，df 在 total_duration_sec 中给了我负面结果
能否请您发布一些更大的数据块或给出有问题结果的块
我编辑了第一篇文章，谢谢

【解决方案3】：

有一个涉及step functions 的解决方案可以处理跨日边界的重叠（以防需要更通用的方法）

import pandas as pd
import staircase as sc

def create_union_stepfunction(dframe):
   return sc.Stairs(dframe, "contact_start", "contact_finish").make_boolean()

step_functions = df.groupby("name").apply(create_union_stepfunction)

这为您提供了一个名为 step_functions 的系列，由行星名称索引，其值为代表阶跃函数的 staircase.Stairs 对象。

name
Mars     <staircase.Stairs, id=1956311648200>
Venus    <staircase.Stairs, id=1956311120648>
dtype: object

这些阶跃函数在接触期间的值为 1，否则为 0。然后，我们可以用 bin 对阶跃函数进行切片并计算积分，以获得每个 bin 进行接触的总时间。对于日常垃圾箱使用

def calc_seconds_per_bin(sf, bins):
    return sf.slice(bins).integral()/pd.Timedelta("1 second")


step_functions.apply(calc_seconds_per_bin, pd.date_range("2021-9-27", "2021-9-29"))

你会得到一个pandas.DataFrame

        [2021-09-27, 2021-09-28)    [2021-09-28, 2021-09-29)
name        
Mars                        60.0                         0.0
Venus                      420.0                         0.0

【讨论】：